[论文解读] Collaboration based Multi-Label Learning

Lei Feng, Bo An+1 more|arXiv (Cornell University)|Feb 8, 2019

Text and Document Classification Technologies参考文献 15被引用 5

一句话总结

本文提出 CAMEL，一种新颖的多标签学习框架，通过在标签空间中进行稀疏重构来显式建模标签协作关系，学习标签相关性。通过将这些学习到的相关性整合到模型训练中，利用与标签无关的嵌入表示，CAMEL 提升了预测的一致性，并在多个基准数据集上实现了最先进性能。

ABSTRACT

It is well-known that exploiting label correlations is crucially important to multi-label learning. Most of the existing approaches take label correlations as prior knowledge, which may not correctly characterize the real relationships among labels. Besides, label correlations are normally used to regularize the hypothesis space, while the final predictions are not explicitly correlated. In this paper, we suggest that for each individual label, the final prediction involves the collaboration between its own prediction and the predictions of other labels. Based on this assumption, we first propose a novel method to learn the label correlations via sparse reconstruction in the label space. Then, by seamlessly integrating the learned label correlations into model training, we propose a novel multi-label learning approach that aims to explicitly account for the correlated predictions of labels while training the desired model simultaneously. Extensive experimental results show that our approach outperforms the state-of-the-art counterparts.

研究动机与目标

• 为了解决现有多标签学习方法将标签相关性视为静态先验知识、但无法确保相关预测的问题。
• 开发一种在预测过程中显式建模标签间协作关系的方法，而非仅对假设空间进行正则化。
• 通过稀疏重构从数据中动态学习标签相关性，捕捉复杂且非线性的标签关系。
• 将学习到的标签相关性无缝集成到模型训练过程中，以提升预测准确性和一致性。
• 在多样化的多标签基准数据集上，展示其性能优于当前最先进方法。

提出的方法

• CAMEL 通过在标签空间中求解一个稀疏重构问题来学习标签相关性矩阵，其中每个标签通过其他标签的线性组合进行重构，并使用 L1 正则化。
• 该方法将标签相关性学习建模为一个优化问题，旨在最小化重构误差的同时强制实现稀疏性，从而有效识别关键的协作标签关系。
• 引入与标签无关的嵌入表示，以解耦预测过程与单个标签之间的依赖，使模型能够在训练过程中利用学习到的标签相关性。
• 通过结构化优化问题将学习到的相关性整合到主预测模型中，联合学习模型参数并强制实现相关性感知的预测。
• 采用基于 ADMM 的算法高效求解稀疏重构子问题，确保可扩展性与收敛性。
• 使用增广拉格朗日法结合交替方向更新来优化模型参数，支持在相关性约束下联合学习权重、偏置和误差项。

实验结果

研究问题

• RQ1 在标签空间中通过稀疏重构学习标签相关性，是否能比使用预定义的相似性度量带来更好的多标签预测性能？
• RQ2 显式强制实现协作预测（即每个标签的输出依赖于其他标签）是否能超越对假设空间的正则化，进一步提升多标签学习性能？
• RQ3 一个能够同时学习标签相关性和训练预测模型的统一框架，是否能优于现有的两阶段方法？
• RQ4 在多样化的数据集上，该方法在标准多标签评估指标上的表现如何，相较于最先进方法？
• RQ5 学习到的标签相关性在多大程度上反映了真实多标签数据中具有意义的、非平凡的标签关系？

主要发现

• CAMEL 在多个基准多标签数据集上实现了最先进性能，在 Hamming 损失、子集准确率和 F1 分数等标准评估指标上均优于现有方法。
• 消融实验证实，学习到的标签相关性集成显著提升了预测质量，尤其在标签相关性复杂度较高的场景下表现更优。
• 基于稀疏重构的相关性学习方法能有效捕捉传统基于相似度的方法所遗漏的非平凡、有意义的标签关系。
• 使用与标签无关的嵌入表示可实现一致且协作的预测，降低多标签输出中的不一致性。
• 基于 ADMM 的优化过程收敛稳定且高效，支持大规模多标签学习任务的可扩展性。
• 实证结果表明，CAMEL 在多样化数据分布下具有鲁棒性，优于独立预测和相关性正则化基线方法。