[論文レビュー] Generative Adversarial Positive-Unlabelled Learning

Ming Hou, Brahim Chaib-draa+2 more|arXiv (Cornell University)|Nov 21, 2017

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、限られたラベル付き陽性データしか入手できない状況でも、深層ニューラルネットワークの堅牢な学習を可能にする、新しい生成的対抗的フレームワークGenPUを提案する。GenPUは、陽性および陰性のサンプルを別々に生成する生成器と識別器を用い、実際のデータに近いサンプルを合成する。均衡状態に達した際、GenPUは理論的に両方のデータ分布を回復でき、特に低データ環境下でも最先端の精度を達成し、過学習への耐性と一般化性能に優れる。

ABSTRACT

In this work, we consider the task of classifying binary positive-unlabeled (PU) data. The existing discriminative learning based PU models attempt to seek an optimal reweighting strategy for U data, so that a decent decision boundary can be found. However, given limited P data, the conventional PU models tend to suffer from overfitting when adapted to very flexible deep neural networks. In contrast, we are the first to innovate a totally new paradigm to attack the binary PU task, from perspective of generative learning by leveraging the powerful generative adversarial networks (GAN). Our generative positive-unlabeled (GenPU) framework incorporates an array of discriminators and generators that are endowed with different roles in simultaneously producing positive and negative realistic samples. We provide theoretical analysis to justify that, at equilibrium, GenPU is capable of recovering both positive and negative data distributions. Moreover, we show GenPU is generalizable and closely related to the semi-supervised classification. Given rather limited P data, experiments on both synthetic and real-world dataset demonstrate the effectiveness of our proposed framework. With infinite realistic and diverse sample streams generated from GenPU, a very flexible classifier can then be trained using deep neural networks.

研究の動機と目的

• 柔軟な深層ニューラルネットワークを用いる陽-陰学習において、ラベル付き陽性データが限られている状況での過学習問題を解決すること。
• 判別的再重み付け戦略の代わりに生成的モデリングを活用することで、PU学習の新しいパラダイムを構築すること。
• 提案フレームワークが均衡状態で、陽性および陰性の両方のデータ分布を回復できることを理論的に裏付けること。
• 多様なデータ分布および低データ設定において、フレームワークの一般化性能と耐障害性を実証すること。

提案手法

• フレームワークは、陽性または陰性のデータ分布をそれぞれモデル化する専用の生成器と識別器のアレイを採用する。
• 生成器 $G_p$ と $G_n$ は、ランダムノイズから現実的でない陽性および陰性サンプルを合成し、識別器 $D_p$ と $D_n$ は実際のサンプルと偽物を区別する。
• 訓練プロセスはミニマックスゲームに従い、$G_p$ と $D_p$ は陽性分布のモデル化を共同で最適化し、$G_n$ と $D_n$ は陰性分布のモデル化を同様に最適化する。
• Wasserstein距離などの異なる発散測度を用いることで、サンプルの多様性と訓練の安定性を向上させる、他のGANバリエーションへの一般化が可能である。
• 標準的な陽-陰分類器を合成されたデータストリーム上で訓練することで、過学習を回避しつつ高容量のモデルを実現できる。
• 理論的分析により、均衡状態において生成器が両方のクラスの真のデータ分布を回復できることを証明した。

実験結果

リサーチクエスチョン

• RQ1 生成的対抗的フレームワークは、PU学習における陽性および陰性の両方のデータ分布を効果的にモデル化できるか？
• RQ2 少数のラベル付き陽性サンプルしか入手できない状況でも、提案されたGenPUフレームワークは深層ニューラルネットワークの過学習を緩和できるか？
• RQ3 低データ環境下において、GenPUの性能は既存のPU学習手法と比べてどのように異なるか？
• RQ4 GenPUフレームワークは、異なるGANバリエーションや発散測度に対してどの程度一般化可能か？

主な発見

• MNISTで『3』対『5』分類において、ラベル付き陽性サンプルがたった100個の状況でもGenPUは98.3%の精度を達成し、UPUやNNPUを上回った。
• 1つのラベル付き陽性サンプルのみでGenPUは『3』対『5』タスクで97.6%の精度を維持したが、NNPUは56.3%まで低下した。
• USPSデータセットでは、1つのラベル付き『3』に対してGenPUは94.0%の精度を達成した。これはUPUの54.0%やNNPUの61.0%を大きく上回った。
• ラベル付き陽性サンプル数を5つに減らした場合、MNISTではGenPUは97.9%の精度を維持したが、NNPUの精度は84.3%まで低下した。
• 非常に柔軟な分類器を用いても、GenPUは過学習を回避した。低データ設定下で安定した訓練誤差およびテスト誤差曲線が観察された。
• 理論的分析により、均衡状態においてGenPUが陽性および陰性の両方のデータ分布を回復できることを確認した。これにより、バイアスのない学習が保証された。