[论文解读] A Convex Surrogate Operator for General Non-Modular Loss Functions

Jiaqian Yu, Matthew B. Blaschko|arXiv (Cornell University)|Apr 12, 2016

Advanced Neural Network Applications参考文献 20被引用 6

一句话总结

该论文通过将任意损失函数分解为子模和超模分量，提出了一种新颖的凸代理算子，用于处理以往在标准凸代理中难以处理的一般非模块化损失函数。它结合了超模部分的松弛重标度和子模部分的洛瓦兹铰链，确保了凸性、分段线性性以及多项式时间的次梯度计算，并通过实证验证在Sørensen-Dice等非子模损失上实现了性能提升和可扩展性。

ABSTRACT

Empirical risk minimization frequently employs convex surrogates to underlying discrete loss functions in order to achieve computational tractability during optimization. However, classical convex surrogates can only tightly bound modular loss functions, sub-modular functions or supermodular functions separately while maintaining polynomial time computation. In this work, a novel generic convex surrogate for general non-modular loss functions is introduced, which provides for the first time a tractable solution for loss functions that are neither super-modular nor submodular. This convex surro-gate is based on a submodular-supermodular decomposition for which the existence and uniqueness is proven in this paper. It takes the sum of two convex surrogates that separately bound the supermodular component and the submodular component using slack-rescaling and the Lov{á}sz hinge, respectively. It is further proven that this surrogate is convex , piecewise linear, an extension of the loss function, and for which subgradient computation is polynomial time. Empirical results are reported on a non-submodular loss based on the S{ø}rensen-Dice difference function, and a real-world face track dataset with tens of thousands of frames, demonstrating the improved performance, efficiency, and scalabil-ity of the novel convex surrogate.

研究动机与目标

• 解决一般非模块化损失函数（既非子模也非超模）缺乏可处理的凸代理算子的问题。
• 开发一种凸代理算子，能够紧密逼近任意集合函数，同时保持多项式时间的次梯度计算能力。
• 为结构化预测中常用的非模块化损失（如Sørensen-Dice指数）提供高效优化方法。
• 将现有代理算子（如松弛重标度和洛瓦兹铰链）推广至更广泛的损失函数类别。
• 在包含数万个帧的真实数据集上展示方法的可扩展性和性能优势。

提出的方法

• 提出任意一般集合函数的子模-超模分解，将其分解为非负超模分量和子模分量。
• 证明了任意集合函数的这种分解在存在性和唯一性上的理论保证。
• 构建凸代理算子，由两部分组成：超模部分采用松弛重标度，子模部分采用洛瓦兹铰链。
• 确保代理算子具有凸性、分段线性性、是原始损失的扩展，并支持多项式时间的次梯度计算。
• 采用切平面法和原始-对偶优化进行训练，与随机梯度下降及神经网络兼容。
• 通过合成实验和一个包含数万个视频帧的真实人脸追踪数据集对方法进行验证。

实验结果

研究问题

• RQ1 能否为既非子模也非超模的一般非模块化损失函数构造出凸代理算子？
• RQ2 是否存在唯一且计算上可处理的任意集合函数到子模与超模分量的分解？
• RQ3 所提出的代理算子在收敛速度和测试误差方面是否优于现有方法（如松弛重标度和0-1损失）？
• RQ4 代理算子能否通过标准机器学习技术（如随机梯度下降）实现高效优化？
• RQ5 该方法在高维输出的大规模结构化预测任务中是否具备有效的可扩展性？

主要发现

• 所提出的凸代理算子实现了与标准SVM相当的原始-对偶收敛速率，表明其优化效率高。
• 在Sørensen-Dice损失上，与松弛重标度和0-1损失相比，该方法显著降低了测试误差，且当子模分量非负时误差最低。
• 在损失增强推理中，每次迭代的计算成本与松弛重标度相当，尽管性能提升明显，但无显著计算开销。
• 在10折交叉验证中，代理算子在p=10时平均测试误差为0.002±0.000，p=50时为0.018±0.003，p=100时为0.060±0.008，优于基线方法。
• 该方法在大规模数据集上表现出良好的可扩展性，已在包含数万个视频帧的人脸追踪数据集上成功应用。
• 代理算子推广了洛瓦兹铰链，并在非超模损失上提供了比松弛重标度更紧的凸包逼近。