[论文解读] Learning from Positive and Unlabeled Data with Arbitrary Positive Shift

Zayd Hammoudeh, Daniel Lowd|arXiv (Cornell University)|Feb 24, 2020

Machine Learning and Algorithms参考文献 45被引用 19

一句话总结

本文提出了一种新颖的框架，用于在任意正样本偏移（positive shift）条件下的正样本-无标签（PU）学习，其中已标注的正样本数据可能无法代表目标分布。通过利用来自源域和目标域的两组无标签数据，并假设负类分布固定，作者提出了两种统计上一致的方法——PU2aPNU（一种结合PU学习与无标签-无标签学习的两步法）和PURR（一种递归风险估计器），在多种数据集上实现了最先进性能，即使在正样本类条件支持集不相交的情况下也表现优异。

ABSTRACT

Positive-unlabeled (PU) learning trains a binary classifier using only positive and unlabeled data. A common simplifying assumption is that the positive data is representative of the target positive class. This assumption rarely holds in practice due to temporal drift, domain shift, and/or adversarial manipulation. This paper shows that PU learning is possible even with arbitrarily non-representative positive data given unlabeled data from the source and target distributions. Our key insight is that only the negative class's distribution need be fixed. We integrate this into two statistically consistent methods to address arbitrary positive bias - one approach combines negative-unlabeled learning with unlabeled-unlabeled learning while the other uses a novel, recursive risk estimator. Experimental results demonstrate our methods' effectiveness across numerous real-world datasets and forms of positive bias, including disjoint positive class-conditional supports. Additionally, we propose a general, simplified approach to address PU risk estimation overfitting.

研究动机与目标

• 解决当已标注正样本数据在任意非代表性地偏离目标正样本分布时，正样本-无标签学习的挑战。
• 放松PU学习中对正样本数据具有代表性的强假设，该假设常因时间漂移、领域偏移或对抗性操纵而被违反。
• 开发在已标注数据与目标数据的正样本类条件支持集不相交时仍保持有效的统计一致性方法。
• 通过一种简化、通用的校正方法（abs-PU），缓解PU风险估计中的过拟合问题，该方法可广泛适用于PU学习场景。

提出的方法

• 提出PU2aPNU，一种两步法：首先应用标准PU学习，然后利用无标签-无标签（UU）学习来校正正样本分布偏移。
• 提出PURR，一种新颖的递归风险估计器，通过递归建模源域与目标域之间的关系，实现在任意正样本偏移下的稳定风险估计。
• 采用abs-PU方法校正PU风险估计中的过拟合问题，简化优化过程并提升泛化能力。
• 基于关键洞察：仅需固定负类分布，即可容忍正类分布的任意偏移。
• 使用两组无标签数据——一组来自源域，一组来自目标域——以估计真实风险并校正正样本分布偏移。
• 利用密度比估计与先验概率调整，对齐不同分布下的风险估计器，尤其在先验估计错误时仍具鲁棒性。

实验结果

研究问题

• RQ1 是否可以在不依赖代表性已标注正样本数据的前提下，使PU学习对任意正样本分布偏移具有鲁棒性？
• RQ2 当已标注正样本与目标正样本分布的支持集不相交时，是否仍可实现PU学习中的统计一致性风险估计？
• RQ3 在实际应用中，如何有效缓解复杂模型下的PU风险估计过拟合问题？
• RQ4 先验概率估计错误对PU学习方法性能的影响是什么？如何提升其鲁棒性？
• RQ5 所提出的PU2aPNU与PURR方法在多种真实世界数据集上，与最先进PU学习及有偏PU学习方法相比表现如何？

主要发现

• PU2aPNU与PURR在多个真实世界数据集（包括MNIST、20 Newsgroups和CIFAR10）上，于不同形式的正样本偏差下，均优于最先进PU学习与bPU学习方法。
• 即使在正样本类条件支持集不相交的情况下，方法仍表现出色，证明了在任意正样本偏移下进行PU学习的可行性。
• 在先验估计错误的实验中，PU2aPNU对先验误设的敏感度最低；而由于PURR依赖先验比，当训练与测试先验在相反方向误设时，其性能下降最明显。
• abs-PU方法有效减少了风险估计中的过拟合，提升了泛化能力，并简化了所提aPU学习框架中的优化过程。
• 在MNIST数据集上，当先验正确指定时，PURR的误分类率为12.9%，而PU2aPNU在相同条件下达到7.4%。
• 在使用垃圾邮件数据集的对抗性aPU学习实验中，所提方法显著优于现有基线，证实了其在动态、真实世界场景下的鲁棒性。