[论文解读] A Self-paced Regularization Framework for Partial-Label Learning

Gengyu Lyu, Songhe Feng+1 more|arXiv (Cornell University)|Apr 20, 2018

Text and Document Classification Technologies参考文献 34被引用 7

一句话总结

本文提出 SP-PLL，一种新颖的自步正则化框架，用于部分标签学习（partial-label learning），通过按从易到难的顺序对实例和标签进行训练，提升标签消歧能力。通过将自步学习与最大间隔优化相结合，SP-PLL 实现了显著的准确率提升——在 MSRCv2 上较 PL-SVM 提高 20%，较 M3PL 提高 7%；在 FG-NET 上实现接近 100% 的性能提升，证明了其在噪声部分标签设定下的鲁棒性与有效性。

ABSTRACT

Partial label learning (PLL) aims to solve the problem where each training instance is associated with a set of candidate labels, one of which is the correct label. Most PLL algorithms try to disambiguate the candidate label set, by either simply treating each candidate label equally or iteratively identifying the true label. Nonetheless, existing algorithms usually treat all labels and instances equally, and the complexities of both labels and instances are not taken into consideration during the learning stage. Inspired by the successful application of self-paced learning strategy in machine learning field, we integrate the self-paced regime into the partial label learning framework and propose a novel Self-Paced Partial-Label Learning (SP-PLL) algorithm, which could control the learning process to alleviate the problem by ranking the priorities of the training examples together with their candidate labels during each learning iteration. Extensive experiments and comparisons with other baseline methods demonstrate the effectiveness and robustness of the proposed method.

研究动机与目标

• 解决部分标签学习（PLL）中标签分配存在噪声和歧义的问题，其中每个实例关联一组候选标签，其中仅一个为正确标签。
• 克服现有 PLL 方法的局限性，即对所有标签和实例一视同仁，未考虑其内在复杂性或可靠性。
• 通过引入一种自步学习机制，优先选择更简单、更可靠的示例和标签进行训练，从而提升标签消歧能力和模型泛化性能。
• 构建一个统一框架，以渐进式、基于置信度的方式联合优化标签分配与分类器参数。

提出的方法

• 将自步学习（SPL）策略引入 PLL 框架，根据置信度和复杂度对训练实例及其候选标签进行排序。
• 将学习过程建模为两阶段优化：首先为实例分配高置信度标签；其次使用最大间隔损失更新分类器参数。
• 使用自增长变量 λ 控制训练进度，从少量可靠示例开始，逐步增加难度。
• 应用最大间隔正则化，参数为 C_max，以平衡每个样本损失对模型的影响。
• 将 SPL 机制集成到最大间隔分类器中，其目标函数旨在最大化预测真实标签与其他候选标签之间的间隔。
• 迭代优化标签分配（y）与模型参数（Θ），确保仅最可靠的训练数据在早期阶段参与训练。

实验结果

研究问题

• RQ1 自步学习策略是否可通过优先选择更简单、更可靠的示例来提升部分标签学习中的标签消歧能力？
• RQ2 与传统方法相比，从易到难的渐进式训练如何影响 PLL 模型的鲁棒性与准确率？
• RQ3 自增长参数 λ 与正则化参数 C_max 对模型性能与泛化能力有何影响？
• RQ4 将 SPL 集成到 PLL 中是否能降低迭代优化过程中错误正样本的负面影响？

主要发现

• 在 MSRCv2 数据集上，SP-PLL 的分类准确率比 M3PL 高 7%，比 PL-SVM 提高 20%。
• 在 FG-NET 数据集上，SP-PLL 相较于 M3PL 将分类准确率提升了约 100%，在具有挑战性的现实世界数据上表现出强劲性能。
• SP-PLL 在多个数据集上均优于基线方法，包括 Lost 和 SoccerPlayer 数据集，其中 M3PL 表现不佳，证实了其鲁棒性。
• 自增长参数 λ 的最优值经实验设定为 0.6，该值在早期噪声注入与过拟合之间取得平衡，实现最佳泛化性能。
• 正则化参数 C_max 通过交叉验证在各数据集上独立调优，取值范围为 0.01 至 100，表明其对模型性能具有显著影响与关键作用。
• 自步机制通过优先选择可靠标签，有效降低了噪声，提升了数据可靠性与模型收敛性。