[论文解读] A Self-Paced Regularization Framework for Multi-Label Learning

Changsheng Li, Fan Wei+5 more|arXiv (Cornell University)|Mar 22, 2016

Text and Document Classification Technologies参考文献 4被引用 5

一句话总结

本文提出了一种新型框架——多标签自 paced 学习（MLSPL），通过联合排序样本和标签的复杂度，将自 paced 学习整合到多标签分类中，以提升模型的鲁棒性和准确性。通过引入一种自 paced 正则化项，动态优先引入更简单的样本，MLSPL 在基准数据集上实现了最先进性能，关键指标（如覆盖度和 one-error）相比现有方法最高提升 25.8%。

ABSTRACT

In this paper, we propose a novel multi-label learning framework, called Multi-Label Self-Paced Learning (MLSPL), in an attempt to incorporate the self-paced learning strategy into multi-label learning regime. In light of the benefits of adopting the easy-to-hard strategy proposed by self-paced learning, the devised MLSPL aims to learn multiple labels jointly by gradually including label learning tasks and instances into model training from the easy to the hard. We first introduce a self-paced function as a regularizer in the multi-label learning formulation, so as to simultaneously rank priorities of the label learning tasks and the instances in each learning iteration. Considering that different multi-label learning scenarios often need different self-paced schemes during optimization, we thus propose a general way to find the desired self-paced functions. Experimental results on three benchmark datasets suggest the state-of-the-art performance of our approach.

研究动机与目标

• 解决现有多标签学习方法对所有标签和样本一视同仁的问题，而忽略其内在复杂度。
• 通过模拟人类从简单到复杂样本的学习过程，克服非凸多标签优化中的局部极小值问题。
• 开发一种可泛化的自 paced 函数学习机制，以适应不同的多标签学习场景。
• 通过在训练过程中联合建模样本和标签的复杂度，提升模型的泛化能力和预测性能。

提出的方法

• 提出一种自 paced 正则化项，可在每次训练迭代中同时对样本和标签的难度进行排序。
• 将多标签学习目标公式化为包含自 paced 正则化项的形式，根据样本的复杂度控制其在训练中的包含程度。
• 提出一种通用策略，用于学习不同学习场景下的最优自 paced 函数，实现自适应学习方案。
• 设计一种迭代优化算法，逐步增加自 paced 参数，随时间逐步引入更复杂的样本和标签。
• 使用 sigmoid、指数函数、tanh、arctan 等激活函数作为候选自 paced 方案，并对 λ 和 μ 等超参数进行调优。
• 将自 paced 正则化项集成到多标签学习框架中，实现模型参数与样本选择的联合优化。

实验结果

研究问题

• RQ1 与标准方法相比，一种优先处理简单样本和标签的自 paced 学习策略是否能提升多标签分类性能？
• RQ2 如何有效公式化自 paced 正则化，以在多标签学习中联合建模样本和标签的复杂度？
• RQ3 不同自 paced 函数（如 sigmoid、指数函数）对多标签学习模型性能有何影响？
• RQ4 能否开发一种通用的自 paced 函数学习方法，以适应多样化的多标签学习场景？
• RQ5 所提出的 MLSPL 框架是否在多个基准数据集上均优于最先进多标签学习方法？

主要发现

• MLSPL 在三个基准数据集（flags、scene 和 emotions）上实现了最先进性能，所有五项评估指标均优于所有对比方法。
• 在 flags 数据集上，与表现第二好的方法 TRAM 相比，MLSPL 在 Hamming 损失上相对提升了 13.4%，在排名损失上提升了 8.4%，在 one-error 上提升了 25.8%，在覆盖度上提升了 4.1%，在平均精度上提升了 1.7%。
• 在 emotions 数据集上，sigmoid 自 paced 函数表现最佳；而在 flags 数据集上，指数函数表现最优，表明需要针对不同场景选择特定的自 paced 方案。
• 采用 sigmoid 函数的方法在 emotions 数据集上实现了 0.1933 ± 0.0062 的 Hamming 损失和 0.8228 ± 0.0005 的平均精度，优于 ML-LOC 及其他基线方法。
• 当选择矩阵 V 中的所有条目均设为 1 时，MLSPL 退化为 ML-LOC，证实 MLSPL 通过引入复杂度感知训练，实现了对现有方法的泛化与改进。
• 图 2 的消融实验表明，不同自 paced 函数在不同数据集上表现各异，验证了为获得最佳结果而进行自适应函数选择的必要性。