[论文解读] One Positive Label is Sufficient: Single-Positive Multi-Label Learning with Label Enhancement

Ning Xu, Congyu Qiao+3 more|arXiv (Cornell University)|Jun 1, 2022

Text and Document Classification Technologies被引用 11

一句话总结

本文提出了一种名为 Smile 的新型单正例多标签学习方法，仅使用每个样本的一个正样本标签即可实现理论上有根基的性能表现。通过推导一个无偏风险估计器，并采用变分 Beta 分布近似进行标签增强，Smile 恢复了潜在的软标签，在 12 个受损的多标签数据集上表现出色，其性能显著优于现有单正例多标签学习方法。

ABSTRACT

Multi-label learning (MLL) learns from the examples each associated with multiple labels simultaneously, where the high cost of annotating all relevant labels for each training example is challenging for real-world applications. To cope with the challenge, we investigate single-positive multi-label learning (SPMLL) where each example is annotated with only one relevant label, and show that one can successfully learn a theoretically grounded multi-label classifier for the problem. In this paper, a novel SPMLL method named SMILE, i.e., Single-positive MultI-label learning with Label Enhancement, is proposed. Specifically, an unbiased risk estimator is derived, which could be guaranteed to approximately converge to the optimal risk minimizer of fully supervised learning and shows that one positive label of each instance is sufficient to train the predictive model. Then, the corresponding empirical risk estimator is established via recovering the latent soft label as a label enhancement process, where the posterior density of the latent soft labels is approximate to the variational Beta density parameterized by an inference model. Experiments on benchmark datasets validate the effectiveness of the proposed method.

研究动机与目标

• 通过仅使用每个样本一个正样本标签进行训练，降低多标签学习中的标注成本。
• 为单正例多标签学习为何能实现有效分类性能提供理论依据。
• 开发一种实用方法，通过增强潜在软标签以提升低监督设置下的模型泛化能力。
• 在真实世界中受损的多标签数据集上验证所提方法的有效性。

提出的方法

• 推导一个无偏风险估计器，即使每个样本仅有一个正样本标签，也能保证收敛到完全监督多标签学习中的最优风险最小化器。
• 提出一种标签增强方法，通过使用变分 Beta 分布近似其后验密度来恢复潜在软标签。
• 构建一个证据下界（ELBO）以实现端到端优化，支持分类器与软标签估计的联合学习。
• 采用深层神经网络结合三层 MLP 作为预测模型，通过 Adam 优化器基于 ELBO 目标进行训练。
• 引入标签平滑和基于置信度的软标签近似作为消融实验基线，以验证所提增强机制的有效性。
• 将该方法应用于 12 个受损的多标签数据集，采用 5 折交叉验证，训练/验证/测试集划分为 80%/10%/10%。

实验结果

研究问题

• RQ1 能否仅使用每个样本一个正样本标签，而无需完整标签监督，有效训练多标签分类器？
• RQ2 是否存在一个理论上有根基的风险估计器，可确保在单正例多标签学习中收敛到最优解？
• RQ3 通过变分后验近似对软标签进行增强，是否能显著提升低监督设置下的模型性能？
• RQ4 与现有单正例多标签学习（SPMLL）及部分标签学习方法相比，所提出的 Smile 方法在泛化能力和鲁棒性方面表现如何？

主要发现

• 在 12 个受损多标签数据集上，Smile 在平均精确率、一错误率、排序损失和汉明损失四项指标上均显著优于所有基线方法。
• Mann-Whitney U 检验（Wilcoxon signed-ranks test）证实，Smile 的性能在 0.05 显著性水平下显著优于所有对比方法，p 值范围为 0.0049 至 0.0277。
• 消融变体 Smile-si 将标签增强替换为基于模型置信度的软标签近似，其性能劣于 Smile，验证了标签增强机制的必要性。
• 如图 3 所示，估计的软标签矩阵 D 在训练过程中稳定收敛，表明标签恢复过程有效且稳定。
• 无论标签数量如何变化，Smile 在不同标签集大小的数据集上均保持一致的性能优势，展现出对标签集大小变化的鲁棒性。