[论文解读] Leveraging Low-Rank Relations Between Surrogate Tasks in Structured Prediction

Giulia Luise, Dimitrios Stamos+2 more|arXiv (Cornell University)|Mar 2, 2019

Machine Learning and Data Classification被引用 4

一句话总结

本文提出了一种用于结构化预测的新型核范数正则化方法，通过利用代理输出之间的低秩关系，而无需显式依赖编码/解码函数的知识。通过采用核范数正则化的变分公式，该方法实现了在高维或无限维代理空间中的高效学习，并建立了超出风险界，表明在特定情形下其泛化性能优于标准 $μat$ 正则化。在排序任务上的实证验证显示性能显著提升。

ABSTRACT

We study the interplay between surrogate methods for structured prediction and techniques from multitask learning designed to leverage relationships between surrogate outputs. We propose an efficient algorithm based on trace norm regularization which, differently from previous methods, does not require explicit knowledge of the coding/decoding functions of the surrogate framework. As a result, our algorithm can be applied to the broad class of problems in which the surrogate space is large or even infinite dimensional. We study excess risk bounds for trace norm regularized structured prediction, implying the consistency and learning rates for our estimator. We also identify relevant regimes in which our approach can enjoy better generalization performance than previous methods. Numerical experiments on ranking problems indicate that enforcing low-rank relations among surrogate outputs may indeed provide a significant advantage in practice.

研究动机与目标

• 为解决输出空间非向量化的结构化预测问题（例如排列、图结构），通过扩展代理方法以利用输出之间的相互关系。
• 开发一种无需显式了解代理编码/解码函数的高效学习算法，从而可应用于大维度或无限维的代理空间。
• 为所提出的估计器建立理论上的超出风险界，证明其一致性和在核范数正则化下的改进学习速率。
• 识别出在何种条件下核范数正则化在结构化预测设置中优于标准 $μat$ 正则化。
• 在排序学习任务上对方法进行实证验证，展示在代理输出中强制低秩结构的实际优势。

提出的方法

• 该方法在代理输出算子上应用核范数正则化，以在不依赖显式编码函数知识的前提下，促进预测之间的低秩结构。
• 通过核范数正则化的变分公式推导出一种高效优化方法，即使在无限维再生核希尔伯特空间中也适用。
• 将学习问题表述为希尔伯特空间中算子上的Tikhonov正则化向量值回归问题，其中核范数作为诱导低秩结构的惩罚项。
• 理论分析建立了核范数正则化中Ivanov与Tikhonov公式的等价性，从而实现稳定优化和泛化保证。
• 应用表示定理表明，最小化器位于一个有限维子空间中，从而实现计算上的可行性。
• 通过代理损失最小化将该方法应用于结构化预测，优化后通过解码恢复结构化输出。

实验结果

研究问题

• RQ1 在不显式依赖编码函数知识的前提下，代理输出之间的低秩正则化是否能提升结构化预测中的泛化性能？
• RQ2 在何种设置下，核范数正则化相较于标准 $μat$ 正则化能带来更优的学习速率和超出风险界？
• RQ3 能否为无限维代理空间中的核范数正则化结构化预测推导出高效的优化算法？
• RQ4 在真实世界的结构化预测任务中，强制代理输出的低秩结构是否能带来可测量的性能提升？
• RQ5 所提出估计器的理论超出风险界与向量值学习及多任务学习中的现有结果相比如何？

主要发现

• 在特定情形下，所提方法在泛化性能上优于标准 $μat$ 正则化，尤其当真实输出结构为低秩时表现更优。
• 为核范数正则化估计器导出了超出风险界，证明了其一致性，并将向量值回归中的既有结果进一步拓展。
• 理论分析表明，即使在最小二乘损失下，核范数正则化相较于 $μat$ 正则化仍可能带来显著优势，这是该情境下的新发现。
• 在排序学习问题上的数值实验表明，强制代理输出之间的低秩关系可使性能显著优于所有基线方法。
• 由于通过变分公式隐式处理编码函数，该算法可适用于任意维度的代理空间，包括无限维空间。
• 证明了核范数正则化中Ivanov与Tikhonov公式的等价性，从而支持稳定且高效的优化。