[论文解读] Learning by Minimizing the Sum of Ranked Range

Shu Hu, Yiming Ying+2 more|arXiv (Cornell University)|Oct 5, 2020

Machine Learning and Data Classification参考文献 38被引用 12

一句话总结

本文提出了一种新颖的鲁棒学习目标构建框架——排序范围之和（SoRR），通过聚合模型输出的排序值实现。该方法将SoRR表述为两组凸函数之差，从而可利用DCA算法实现高效优化，并基于此构建了两种新损失函数——二分类任务的AoRR损失与多标签学习任务的TKML损失。实验表明，该方法在合成数据集与真实数据集上均对标签噪声和异常值表现出更优的鲁棒性。

ABSTRACT

In forming learning objectives, one oftentimes needs to aggregate a set of individual values to a single output. Such cases occur in the aggregate loss, which combines individual losses of a learning model over each training sample, and in the individual loss for multi-label learning, which combines prediction scores over all class labels. In this work, we introduce the sum of ranked range (SoRR) as a general approach to form learning objectives. A ranked range is a consecutive sequence of sorted values of a set of real numbers. The minimization of SoRR is solved with the difference of convex algorithm (DCA). We explore two applications in machine learning of the minimization of the SoRR framework, namely the AoRR aggregate loss for binary classification and the TKML individual loss for multi-label/multi-class classification. Our empirical results highlight the effectiveness of the proposed optimization framework and demonstrate the applicability of proposed losses using synthetic and real datasets.

研究动机与目标

• 为解决传统聚合损失与个体损失在机器学习中的局限性，如对异常值敏感（最大值）或对少数群体不敏感（平均值）。
• 设计一种通用学习目标，通过利用模型输出的排序范围，灵活平衡鲁棒性与敏感性。
• 基于SoRR设计新型损失函数——AoRR与TKML，明确缓解异常值影响，同时保持强泛化性能。
• 为所提损失提供理论保证，包括校准性与下界性质，确保其与最优分类行为的一致性。
• 在多样化数据集上，通过实证验证SoRR基损失在不同标签噪声水平下的鲁棒性与有效性。

提出的方法

• 提出排序范围之和（SoRR）作为一组实数排序值上的新聚合函数，定义为前k个最大值与前m个最大值之和的差值。
• 将SoRR表示为两个凸函数之差（DC规划），从而可通过差分凸算法（DCA）实现高效优化。
• 通过合页函数与对偶变量，推导出SoRR的等价形式，支持通过次梯度方法实现可微优化。
• 提出平均排序范围（AoRR）作为二分类任务的新聚合损失，当已知异常值比例时可完全消除其影响。
• 提出Top-k多标签（TKML）损失作为SoRR在多标签学习中的特例，明确鼓励真实标签排在前k名位置。
• 采用两阶段优化策略：首先优化对偶变量（λ, λ̂），然后优化模型参数θ，利用重构问题的凸性。

实验结果

研究问题

• RQ1 基于排序范围的新学习目标是否相比标准聚合损失，能显著提升对标签噪声与异常值的鲁棒性？
• RQ2 当训练数据中存在异常值时，基于SoRR的AoRR损失在二分类任务中的表现如何？
• RQ3 基于SoRR的TKML损失能否通过优先考虑正确标签排序，有效提升多标签分类性能？
• RQ4 TKML损失与传统多标签损失之间存在何种理论关系？是否提供下界？
• RQ5 基于DCA的SoRR优化框架在实际应用中，其效率与收敛性相比标准优化方法如何？

主要发现

• 在MNIST数据集上，TKML损失在所有top-k准确率指标上均优于基线SVM α，在40%标签噪声下top-1准确率提升7%。
• 在40%标签噪声水平下，TKML达到75.00%的top-1准确率，优于SVM α的68.32%，展现出对数据投毒或严重错误的强鲁棒性。
• 当异常值比例已知时，AoRR损失在合成实验中成功消除了异常值的影响，验证结果可靠。
• 在Emotions与Scene数据集上，TKML分别取得96.94%与95.01%的最高top-5准确率，优于LR与LSEP基线模型。
• 通过DCA优化的SoRR框架收敛稳定且高效，多次随机运行的标准差极小，表明优化过程可靠。
• 理论分析表明，TKML是传统多标签损失的下界，支持其一致性与在多标签学习中的适用性。