[论文解读] Rethinking Class-Prior Estimation for Positive-Unlabeled Learning

Yue Yu, Tongliang Liu+5 more|arXiv (Cornell University)|Feb 10, 2020

Machine Learning and Data Classification被引用 6

一句话总结

该论文提出了一种名为ReCPE（Regrouping Class-Prior Estimation）的方法，通过构建一个辅助正样本分布来消除对不可约性假设的依赖，从而在无分布假设的类别先验估计（CPE）中提升正样本-无标签（PU）学习的性能。当该假设被违反时，ReCPE有效减少了现有CPE方法中的正样本偏差，在多个真实世界数据集和最先进方法中均一致提升了估计精度。

ABSTRACT

Given only positive (P) and unlabeled (U) data, PU learning can train a binary classifier without any negative data. It has two building blocks: PU class-prior estimation (CPE) and PU classification; the latter has been well studied while the former has received less attention. Hitherto, the distributional-assumption-free CPE methods rely on a critical assumption that the support of the positive data distribution cannot be contained in the support of the negative data distribution. If this is violated, those CPE methods will systematically overestimate the class prior; it is even worse that we cannot verify the assumption based on the data. In this paper, we rethink CPE for PU learning-can we remove the assumption to make CPE always valid? We show an affirmative answer by proposing Regrouping CPE (ReCPE) that builds an auxiliary probability distribution such that the support of the positive data distribution is never contained in the support of the negative data distribution. ReCPE can work with any CPE method by treating it as the base method. Theoretically, ReCPE does not affect its base if the assumption already holds for the original probability distribution; otherwise, it reduces the positive bias of its base. Empirically, ReCPE improves all state-of-the-art CPE methods on various datasets, implying that the assumption has indeed been violated here.

研究动机与目标

• 解决无分布假设的类别先验估计（CPE）在PU学习中的关键局限，即依赖于正样本支持不被包含在负样本支持中的不可约性假设。
• 指出该假设在实践中经常被违反，且无法从数据中验证，导致类别先验的系统性高估。
• 提出一种可泛化的解决方案，消除对不可约性假设的需求，同时在该假设成立时保持现有CPE方法的一致性。
• 构建一个框架，通过对正样本分布应用重分组变换，提升所有现有CPE方法的性能。
• 通过实证验证，ReCPE在多个真实世界数据集和最先进CPE方法中均提升了估计精度。

提出的方法

• 通过重分组原始正样本，引入一个辅助正样本分布 $P_{\mathrm{p^\prime}}$，以确保 $P_{\mathrm{p^\prime}}$ 的支持不被包含在负样本分布 $P_{\mathrm{n}}$ 的支持中。
• 在变换后的数据对 $(P_{\mathrm{p^\prime}}}, P_{\mathrm{u}})$ 上应用任何现有的无分布假设CPE方法，而非原始数据对 $(P_{\mathrm{p}}}, P_{\mathrm{u}})$。
• 重分组过程确保 $P_{\mathrm{p^\prime}}$ 在 $P_{\mathrm{u}}$ 中的最大比例 $\kappa^*$ 等于真实的类别先验 $\pi$，即使原始数据违反了不可约性假设。
• 理论分析表明，当不可约性假设成立时，ReCPE不会降低性能；而当该假设被违反时，ReCPE可有效减少正样本偏差。
• 该方法对基础CPE方法无依赖性，可与任何现有的无分布假设CPE方法无缝集成。
• 重分组通过数据重加权或采样策略实现，保留了无标签数据的边缘分布，同时改变了正样本分布的支持结构。

实验结果

研究问题

• RQ1 是否可以在不依赖分布假设的前提下，使PU学习中的类别先验估计对不可约性假设的违反具有鲁棒性？
• RQ2 能否构建一个辅助正样本分布，使得正样本数据的支持永远不会被包含在负样本数据的支持中？
• RQ3 所提出的重分组方法如何影响现有无分布假设CPE方法的偏差与准确率？
• RQ4 ReCPE框架是否能在多样化的现实世界数据集和多种CPE基线方法中提升估计性能？
• RQ5 该重分组方法是否可普遍应用于现有CPE方法，而无需修改其核心算法？

主要发现

• 在所有测试的真实世界数据集中，ReCPE显著降低了估计误差，其中ReAM（重分组后的AlphaMax）实现了平均误差最小的0.100，优于原始AM的0.116。
• 在包含3200个样本的robot数据集中，ReKM2将误差从0.039降至0.038，ReRPG从0.076降至0.075，表现出一致的改进。
• 在包含3200个样本的shuttle数据集中，ReKM2将误差从0.028降至0.026，ReROC从0.038降至0.028，显示出显著的性能提升。
• 所有数据集和方法的平均估计误差从基线的0.116降至ReCPE的0.100，Wilcoxon符号秩检验的p值表明结果具有统计显著性。
• 该方法在所有样本大小和数据集上均提升了所有最先进CPE方法，包括AlphaMax、DEDPUL、Elkan-Noto、KM1、KM2、ROC和Rankpruning。
• 实证结果证实，现实世界数据中不可约性假设经常被违反，从而证明了ReCPE的必要性。