[论文解读] Generative Adversarial Positive-Unlabelled Learning

Ming Hou, Brahim Chaib-draa+2 more|arXiv (Cornell University)|Nov 21, 2017

Machine Learning and Data Classification被引用 4

一句话总结

该论文提出GenPU，一种新颖的生成对抗框架，用于正样本-未标记样本（PU）学习。该框架使用独立的生成器和判别器来合成逼真的正样本和负样本，从而在仅有极少已标记正样本的情况下，也能实现深度神经网络的稳健训练。在平衡状态下，GenPU在理论上可恢复两种数据分布，并实现最先进性能，尤其在低数据场景下，其在过拟合鲁棒性和泛化能力方面优于现有PU方法。

ABSTRACT

In this work, we consider the task of classifying binary positive-unlabeled (PU) data. The existing discriminative learning based PU models attempt to seek an optimal reweighting strategy for U data, so that a decent decision boundary can be found. However, given limited P data, the conventional PU models tend to suffer from overfitting when adapted to very flexible deep neural networks. In contrast, we are the first to innovate a totally new paradigm to attack the binary PU task, from perspective of generative learning by leveraging the powerful generative adversarial networks (GAN). Our generative positive-unlabeled (GenPU) framework incorporates an array of discriminators and generators that are endowed with different roles in simultaneously producing positive and negative realistic samples. We provide theoretical analysis to justify that, at equilibrium, GenPU is capable of recovering both positive and negative data distributions. Moreover, we show GenPU is generalizable and closely related to the semi-supervised classification. Given rather limited P data, experiments on both synthetic and real-world dataset demonstrate the effectiveness of our proposed framework. With infinite realistic and diverse sample streams generated from GenPU, a very flexible classifier can then be trained using deep neural networks.

研究动机与目标

• 解决在使用灵活的深度神经网络且正样本标注数据有限时，PU学习中的过拟合问题。
• 通过利用生成建模而非判别性重加权策略，提出PU学习的新范式。
• 从理论上证明所提出的框架在平衡状态下可恢复正样本和负样本的数据分布。
• 在多种数据分布和低数据设置下，展示该框架的泛化能力和鲁棒性。

提出的方法

• 该框架采用一组判别器和生成器，每个均专门用于建模正样本或负样本的数据分布。
• 生成器 $G_p$ 和 $G_n$ 从随机噪声中合成逼真的正样本和负样本，而判别器 $D_p$ 和 $D_n$ 负责区分真实样本与生成样本。
• 训练过程遵循极小化-极大化博弈机制，其中 $G_p$ 和 $D_p$ 共同优化以建模正样本分布，$G_n$ 和 $D_n$ 同样针对负样本分布进行优化。
• 该框架具有良好的可扩展性，可借助不同的散度度量（如Wasserstein距离）推广至其他GAN变体，以提升样本多样性和训练稳定性。
• 在合成数据流上训练标准的正负样本分类器，从而在不发生过拟合的前提下支持高容量模型。
• 理论分析证明，在平衡状态下，生成器可恢复正负两类的真实底层数据分布。

实验结果

研究问题

• RQ1 生成对抗框架能否在PU学习中有效建模正样本和负样本的数据分布？
• RQ2 当仅有少量已标记正样本时，所提出的GenPU框架是否能缓解深度神经网络的过拟合？
• RQ3 在低数据场景下，GenPU与现有PU学习方法相比性能如何？
• RQ4 GenPU框架在不同GAN变体和散度度量下的通用性如何？

主要发现

• 在MNIST数据集上，仅使用100个已标记正样本进行'3'与'5'分类时，GenPU达到98.3%的准确率，优于UPU和NNPU。
• 当仅有一个已标记正样本时，GenPU在'3'与'5'任务中仍保持97.6%的准确率，而NNPU下降至56.3%。
• 在USPS数据集上，GenPU使用一个已标记的'3'样本达到94.0%的准确率，显著优于UPU（54.0%）和NNPU（61.0%）。
• 当已标记正样本数量减少至5个时，GenPU在MNIST上的准确率仍保持97.9%，而NNPU的准确率下降至84.3%。
• 即使使用高度灵活的分类器，GenPU也能避免过拟合，这在低数据设置下表现为训练和测试误差曲线的稳定性。
• 理论分析证实，在平衡状态下，GenPU可恢复正负样本的数据分布，确保学习无偏。