[论文解读] Incorporating Multiple Cluster Centers for Multi-Label Learning

Senlin Shu, Fengmao Lv+4 more|arXiv (Cornell University)|Apr 17, 2020

Text and Document Classification Technologies被引用 4

一句话总结

本文提出了一种新颖的多标签学习数据增强方法，通过从真实数据的聚类中心生成虚拟样本，以编码局部标签相关性和重要性。引入了一种新的正则化项，强制真实样本与虚拟样本之间的相似性，从而提升模型平滑性，并在标准指标上实现了平均7.1%和6.0%的性能增益，达到当前最先进水平。

ABSTRACT

Multi-label learning deals with the problem that each instance is associated with multiple labels simultaneously. Most of the existing approaches aim to improve the performance of multi-label learning by exploiting label correlations. Although the data augmentation technique is widely used in many machine learning tasks, it is still unclear whether data augmentation is helpful to multi-label learning. In this article, we propose to leverage the data augmentation technique to improve the performance of multi-label learning. Specifically, we first propose a novel data augmentation approach that performs clustering on the real examples and treats the cluster centers as virtual examples, and these virtual examples naturally embody the local label correlations and label importances. Then, motivated by the cluster assumption that examples in the same cluster should have the same label, we propose a novel regularization term to bridge the gap between the real examples and virtual examples, which can promote the local smoothness of the learning function. Extensive experimental results on a number of real-world multi-label datasets clearly demonstrate that our proposed approach outperforms the state-of-the-art counterparts.

研究动机与目标

• 探究尽管在此领域先前探索有限，数据增强技术是否能提升多标签学习的性能。
• 利用聚类技术生成反映局部标签相关性和标签重要性的有意义虚拟样本。
• 基于聚类假设提出一种新的正则化项，以连接真实样本与虚拟样本，增强学习函数的局部平滑性。
• 通过在真实世界多标签数据集上的大量实验，证明所提方法的有效性。

提出的方法

• 对真实训练样本进行聚类，以识别局部数据结构，并将聚类中心用作虚拟样本。
• 将每个聚类中心视为一个新的训练实例，其连续标签向量通过聚合该聚类中所有实例的标签获得。
• 提出一种新颖的正则化项，鼓励模型对真实实例的输出与对应聚类中心的输出保持相似，以促进局部平滑性。
• 将正则化项整合进学习目标，平衡真实数据拟合与预测对齐虚拟样本之间的关系。
• 通过超参数 α 和 γ 控制虚拟样本的影响与正则化强度，并通过 β 平衡模型复杂度。
• 使用聚类数 c 作为可调参数，以控制虚拟样本生成的粒度。

(a) One-error

实验结果

研究问题

• RQ1 尽管此前在该领域探索有限，数据增强技术是否仍能提升多标签学习的性能？
• RQ2 如何利用聚类中心生成能反映局部标签相关性和标签重要性的有意义虚拟样本？
• RQ3 强制真实样本与其聚类中心之间保持相似性，是否能提升学习函数的平滑性与泛化能力？
• RQ4 在所提框架中，真实数据拟合、虚拟样本利用与模型复杂度之间的最优平衡是什么？

主要发现

• 在 scene 数据集上，使用 one-error 指标，所提方法在平均性能上相比当前最先进方法提升了 7.1%。
• 在大规模 computer 数据集上，使用 one-error 指标，该方法平均性能提升了 6.0%。
• 模型对控制虚拟样本影响的超参数 α 相对不敏感，表明方法具有鲁棒性。
• 正则化超参数 γ 在中间值时达到最优性能，证实了连接真实与虚拟样本的有效性。
• 通过 β 控制模型复杂度时，性能曲线呈 U 型，最佳结果出现在如 β=1 的中间值，表明需在过拟合与欠拟合之间取得平衡。
• 该方法对聚类数 c 的变化相对不敏感，在广泛范围的聚类数量下均表现出稳定性能，从而简化了超参数调优。

(b) Hamming loss