[论文解读] Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective

Yunrui Zhao, Qianqian Xu+3 more|arXiv (Cornell University)|Dec 6, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文提出 Dist-PU，一种新颖的正样本-未标记样本（PU）学习方法，通过将模型预测的期望标签分布与基于已知类别先验推导出的真实标签分布对齐，实现改进。通过利用标签分布一致性、熵最小化和 Mixup 正则化，Dist-PU 有效缓解了成本敏感型 PU 方法中常见的负样本预测偏差，并在 CIFAR-10、Fashion-MNIST 和阿尔茨海默病数据集上取得了最先进性能。

ABSTRACT

Positive-Unlabeled (PU) learning tries to learn binary classifiers from a few labeled positive examples with many unlabeled ones. Compared with ordinary semi-supervised learning, this task is much more challenging due to the absence of any known negative labels. While existing cost-sensitive-based methods have achieved state-of-the-art performances, they explicitly minimize the risk of classifying unlabeled data as negative samples, which might result in a negative-prediction preference of the classifier. To alleviate this issue, we resort to a label distribution perspective for PU learning in this paper. Noticing that the label distribution of unlabeled data is fixed when the class prior is known, it can be naturally used as learning supervision for the model. Motivated by this, we propose to pursue the label distribution consistency between predicted and ground-truth label distributions, which is formulated by aligning their expectations. Moreover, we further adopt the entropy minimization and Mixup regularization to avoid the trivial solution of the label distribution consistency on unlabeled data and mitigate the consequent confirmation bias. Experiments on three benchmark datasets validate the effectiveness of the proposed method.Code available at: https://github.com/Ray-rui/Dist-PU-Positive-Unlabeled-Learning-from-a-Label-Distribution-Perspective.

研究动机与目标

• 为解决现有成本敏感型 PU 学习方法中存在的负样本预测偏好问题，该问题源于显式最小化将未标记数据误判为负类的风险。
• 通过将未标记数据的标签分布建模为固定且可学习的监督信号，为 PU 学习提供一种新视角。
• 通过将熵最小化与 Mixup 正则化整合进标签分布对齐框架，提升泛化能力并减少确认偏差。
• 通过为 PU 学习中的标签分布对齐推导泛化界，提供理论支持。

提出的方法

• 通过将预测标签分布的期望与真实类别先验对齐，将 PU 学习形式化为标签分布对齐任务。
• 通过深度神经网络的 Sigmoid 输出估计期望预测标签，支持端到端训练。
• 引入熵最小化以鼓励模型做出置信预测（得分接近 0 或 1），防止所有未标记样本预测值均等于类别先验的平凡解。
• 应用 Mixup 正则化进行数据增强，通过鼓励模型对插值样本保持鲁棒性，减少确认偏差。
• 将标签分布对齐、熵最小化与 Mixup 整合为统一的训练目标，以提升泛化性能。
• 为标签分布对齐推导泛化界，为方法的有效性提供理论依据。

实验结果

研究问题

• RQ1 预测标签分布与真实标签分布之间的标签分布对齐，能否有效缓解 PU 学习中的负样本预测偏差？
• RQ2 熵最小化如何提升标签分布对齐的鲁棒性并防止平凡解？
• RQ3 当与标签分布对齐结合时，Mixup 正则化在多大程度上可减少确认偏差？
• RQ4 超参数 μ、α、ν 和 γ 如何影响 Dist-PU 框架的性能与稳定性？
• RQ5 所提出的标签分布对齐框架是否能泛化至具有已知类别先验的真实世界数据集？

主要发现

• 在 CIFAR-10、Fashion-MNIST 和阿尔茨海默病三个基准数据集上，Dist-PU 在大多数评估指标上均优于当前最先进 PU 学习方法。
• 消融实验表明，标签分布对齐是最关键的组件，其存在显著提升了基线模型的性能。
• 熵最小化虽仅带来微小但稳定的性能提升，尤其在与标签分布对齐结合时效果更明显。
• 当与标签分布对齐结合时，Mixup 正则化带来最显著的性能增益，凸显其在减少确认偏差方面的协同效应。
• 敏感性分析显示，当 μ > 0.5 时性能下降，而 α > 1 和 ν > 1 可提升鲁棒性并减少确认偏差。
• 错误预测的可视化结果表明，Mixup 使得分分布更平滑，并降低错误预测的置信度，证实其在缓解确认偏差中的作用。