[论文解读] Improving Positive Unlabeled Learning: Practical AUL Estimation and New Training Method for Extremely Imbalanced Data Sets

Liwei Jiang, Dan Li+3 more|arXiv (Cornell University)|Apr 21, 2020

Imbalanced Data Classification Techniques参考文献 28被引用 7

一句话总结

本文提出了一种实用的PU学习中AUL估计方法，无需事先了解未标记样本的先验知识，并引入了ProbTagging这一新型训练方法，用于处理极端类别不平衡的PU数据集。ProbTagging基于相似性对未标记样本进行概率标记，生成多个合成PN数据集，在其上训练集成模型，相较于最先进方法，在工业和人工PU数据集上实现了最高10%的AUC提升。

ABSTRACT

Positive Unlabeled (PU) learning is widely used in many applications, where a binary classifier is trained on the datasets consisting of only positive and unlabeled samples. In this paper, we improve PU learning over state-of-the-art from two aspects. Firstly, existing model evaluation methods for PU learning requires ground truth of unlabeled samples, which is unlikely to be obtained in practice. In order to release this restriction, we propose an asymptotic unbiased practical AUL (area under the lift) estimation method, which makes use of raw PU data without prior knowledge of unlabeled samples. Secondly, we propose ProbTagging, a new training method for extremely imbalanced data sets, where the number of unlabeled samples is hundreds or thousands of times that of positive samples. ProbTagging introduces probability into the aggregation method. Specifically, each unlabeled sample is tagged positive or negative with the probability calculated based on the similarity to its positive neighbors. Based on this, multiple data sets are generated to train different models, which are then combined into an ensemble model. Compared to state-of-the-art work, the experimental results show that ProbTagging can increase the AUC by up to 10%, based on three industrial and two artificial PU data sets.

研究动机与目标

• 为解决由于未标记样本缺乏真实标签而导致PU学习中模型评估不可靠的问题。
• 提升在极端类别不平衡场景下的PU学习性能，其中正样本相对于未标记样本极为稀少。
• 开发一种训练方法，提升数据效率与模型鲁棒性，且无需使用标记的负样本。
• 仅使用原始PU数据，提供一种实用且无偏的评估指标——AUL，避免依赖类别先验知识或PN测试集。

提出的方法

• 提出一种仅使用原始PU数据的渐近无偏AUL估计方法，无需类别先验知识或未标记样本的真实标签。
• 引入ProbTagging，一种基于未标记样本与已知正样本相似性的概率正/负标签分配框架。
• 使用k-NN计算未标记样本与正样本之间的相似性，然后按相似性成比例分配正样本标签概率。
• 通过从概率标记中采样生成多个合成PN数据集，以训练多样化的基模型。
• 采用在多个合成数据集上训练的模型进行集成平均，以提升泛化能力与鲁棒性。
• 在实现中采用GBDT作为基分类器，并使用k-NN进行相似性计算。

实验结果

研究问题

• RQ1 在未标记样本类别分布先验知识或真实标签均不可用的情况下，能否在PU学习中可靠估计AUL？
• RQ2 当仅有原始PU数据可用且无法访问PN标记的测试集时，如何实现有效的模型性能评估？
• RQ3 能否设计一种训练方法，通过提升有效正样本数量来缓解PU学习中的极端类别不平衡问题？
• RQ4 基于与正样本的相似性对未标记样本进行概率标记，是否能提升模型泛化能力与AUC性能？
• RQ5 在高噪声与极低正样本率场景下（这在真实工业PU数据集中常见），所提方法表现如何？

主要发现

• 所提出的AUL估计方法在对应PN数据上计算时，即使缺乏类别先验知识，也能对真实AUC提供渐近无偏估计。
• ProbTagging在三个工业数据集和两个人工PU数据集上相较最先进方法，AUC最高提升10%。
• 在APS与信用卡欺诈数据集上，当θ₀ = 0.5时，ProbTagging分别取得0.9921与0.9757的AUC，优于Elkan方法与BaggingPU。
• ProbTagging在高噪声（大1−θ₀）条件下仍保持强性能，表现出对极端不平衡设置的鲁棒性，而其他方法性能显著下降。
• nnPU与PU-AUC在极端不平衡数据上表现欠佳，原因在于稀少正样本对风险估计的贡献不足。
• ProbTagging中的集成方法比BaggingPU更有效地降低方差，后者因基模型使用相同正样本而存在高相关性。