[论文解读] A Variational Approach for Learning from Positive and Unlabeled Data

Hui Chen, Fangqing Liu+3 more|arXiv (Cornell University)|Jun 3, 2019

Machine Learning and Data Classification参考文献 28被引用 22

一句话总结

本文提出了一种变分方法用于正例-未标记（PU）学习，直接最小化贝叶斯分类器的建模误差，无需估计类别先验或假设数据可分。通过基于已标注与未标注数据分布构建无类别先验的变分损失，该方法实现了稳定且高效的优化，在CIFAR-10和Fashion-MNIST等基准数据集上达到了最先进性能。

ABSTRACT

Learning binary classifiers only from positive and unlabeled (PU) data is an important and challenging task in many real-world applications, including web text classification, disease gene identification and fraud detection, where negative samples are difficult to verify experimentally. Most recent PU learning methods are developed based on the conventional misclassification risk of the supervised learning type, and they require to solve the intractable risk estimation problem by approximating the negative data distribution or the class prior. In this paper, we introduce a variational principle for PU learning that allows us to quantitatively evaluate the modeling error of the Bayesian classifier directly from given data. This leads to a loss function which can be efficiently calculated without any intermediate step or model, and a variational learning method can then be employed to optimize the classifier under general conditions. In addition, the discriminative performance and numerical stability of the variational PU learning method can be further improved by incorporating a margin maximizing loss function. We illustrate the effectiveness of the proposed variational method on a number of benchmark examples.

研究动机与目标

• 解决仅能获取正例和未标记数据时训练高精度二分类器的挑战，尤其在负样本不可用或难以验证的场景下。
• 克服现有PU学习方法依赖不准确类别先验估计或假设数据可分性的局限。
• 提出一种系统性、无类别先验的框架，直接从观测数据分布评估并最小化贝叶斯分类器的建模误差。
• 在无需中间估计步骤或强假设的一般条件下，实现鲁棒且一致的分类器优化。
• 在真实世界基准数据集上展示优越性能，尤其在低数据量和类别不平衡设置下。

提出的方法

• 引入一种变分原理，仅利用已标注与未标注数据的经验分布，量化候选分类器与理想贝叶斯分类器之间的差异。
• 定义一种变分损失函数，衡量正例数据分布与分类器输出分布之间的差异，避免显式估计类别先验。
• 将优化问题表述为最小化无类别先验的损失，该损失可通过经验平均高效计算且具有一致性。
• 利用判别器网络进行对抗训练，以近似正例分布与分类器诱导分布之间的Jensen-Shannon散度。
• 另一种形式：通过神经网络训练最小化分类器输出与正例数据密度之间的加权L²距离。
• 应用变分优化直接逼近贝叶斯分类器，无需对负样本或类别先验进行噪声或启发式估计。

实验结果

研究问题

• RQ1 在PU学习中，是否可以在不估计类别先验或假设数据可分性的前提下，一致地逼近贝叶斯分类器？
• RQ2 如何仅使用已标注和未标注数据，以无类别先验方式定量评估分类器的建模误差？
• RQ3 基于数据分布的变分损失是否在准确性和鲁棒性方面优于现有PU学习方法，尤其在类别先验未知时？
• RQ4 使用判别器的对抗训练是否能有效最小化PU学习中正例分布与分类器分布之间的差异？
• RQ5 所提方法在CIFAR-10和Fashion-MNIST等标准基准数据集上的表现如何，尤其在数据稀缺或类别不平衡条件下？

主要发现

• 所提出的VPU方法在多个基准数据集上达到最先进性能，F-MNIST 1上准确率达97.3%，STL-10 1上达97.6%，优于nnPU、uPU和GenPU。
• 在Fashion-MNIST数据集上，VPU达到92.7%准确率，显著优于nnPU（90.8%）及其MixUp增强变体（91.0%），即使后者使用了数据增强。
• 该方法在所有数据集上均保持高AUC值，F-MNIST 1上为0.973，STL-10 1上为0.976，表明其具备优异的泛化能力和鲁棒性。
• VPU对类别先验不准确具有鲁棒性，且无需使用负样本进行交叉验证，因其完全避免了类别先验估计。
• 变分损失的构建方式实现了无需中间估计步骤的一致优化，从而获得稳定且高性能的结果。
• 实验表明，VPU对MixUp等数据增强不敏感，表明其相比nnPU等依赖增强方法更具内在鲁棒性。