[論文レビュー] Dist-PU: Positive-Unlabeled Learning from a Label Distribution Perspective

Yunrui Zhao, Qianqian Xu+3 more|arXiv (Cornell University)|Dec 6, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿では、既知のクラス事前分布から導出された真のラベル分布とモデル予測の期待ラベル分布を一致させる、新しい正例-未ラベル（PU）学習手法Dist-PUを提案する。ラベル分布の一貫性、エントロピー最小化、Mixup正則化を活用することで、コスト感受性PU手法に一般的に見られる負例予測バイアスを軽減し、CIFAR-10、Fashion-MNIST、アルツハイマー病データセットで最先端の性能を達成する。

ABSTRACT

Positive-Unlabeled (PU) learning tries to learn binary classifiers from a few labeled positive examples with many unlabeled ones. Compared with ordinary semi-supervised learning, this task is much more challenging due to the absence of any known negative labels. While existing cost-sensitive-based methods have achieved state-of-the-art performances, they explicitly minimize the risk of classifying unlabeled data as negative samples, which might result in a negative-prediction preference of the classifier. To alleviate this issue, we resort to a label distribution perspective for PU learning in this paper. Noticing that the label distribution of unlabeled data is fixed when the class prior is known, it can be naturally used as learning supervision for the model. Motivated by this, we propose to pursue the label distribution consistency between predicted and ground-truth label distributions, which is formulated by aligning their expectations. Moreover, we further adopt the entropy minimization and Mixup regularization to avoid the trivial solution of the label distribution consistency on unlabeled data and mitigate the consequent confirmation bias. Experiments on three benchmark datasets validate the effectiveness of the proposed method.Code available at: https://github.com/Ray-rui/Dist-PU-Positive-Unlabeled-Learning-from-a-Label-Distribution-Perspective.

研究の動機と目的

• 既存のコスト感受性PU学習手法に見られる、未ラベルデータを負例と分類するリスクを明示的に最小化することに起因する負例予測バイアスを是正すること。
• 未ラベルデータのラベル分布を固定で学習可能な監視信号としてモデル化することで、PU学習に新たな視点を提供すること。
• エントロピー最小化とMixup正則化をラベル分布整合性フレームワークに統合することで、一般化性能を向上させ、確認バイアスを低減すること。
• PU学習におけるラベル分布整合性の一般化バウンドを通じて、理論的裏付けを提供すること。

提案手法

• 予測ラベル分布の期待値と真のクラス事前分布を一致させるように、PU学習をラベル分布整合タスクに定式化する。
• シグモイド出力を介して予測ラベルの期待値を推定し、エンドツーエンドの学習を可能にする。
• 確信のある予測（0または1に近いスコア）を促進するため、エントロピー最小化を導入する。これにより、すべての未ラベル予測がクラス事前分布に等しくなるような自明な解を防ぐ。
• データオーグメンテーションとしてMixup正則化を適用し、補間されたサンプルに対する耐性を高めることで、確認バイアスを低減する。
• ラベル分布整合性、エントロピー最小化、Mixupを統合した一貫性のある学習目的関数を構築し、一般化性能を向上させる。
• ラベル分布整合性の一般化バウンドを導出することで、本手法の有効性に対する理論的支援を提供する。

実験結果

リサーチクエスチョン

• RQ1 予測分布と真のラベル分布のラベル分布整合性が、PU学習における負例予測バイアスを効果的に軽減できるか。
• RQ2 エントロピー最小化は、ラベル分布整合性の堅牢性をどのように向上させ、自明な解を防ぐか。
• RQ3 ラベル分布整合性と組み合わせた場合、Mixup正則化が確認バイアスをどの程度低減するか。
• RQ4 μ、α、ν、γなどのハイパーパrameterが、Dist-PUフレームワークの性能と安定性にどのように影響するか。
• RQ5 提案されたラベル分布整合性フレームワークは、既知のクラス事前分布を持つ実世界のデータセットにも一般化可能か。

主な発見

• Dist-PUは、CIFAR-10、Fashion-MNIST、アルツハイマー病の3つのベンチマークデータセットにおいて、ほとんどの評価指標で最先端のPU学習手法を上回る性能を達成した。
• アブレーションスタディの結果、ラベル分布整合性が最も重要な要素であり、これを含まないベースラインと比較して顕著な性能向上が確認された。
• エントロピー最小化は、ラベル分布整合性と組み合わせた場合にわずかだが一貫した改善をもたらし、特にその組み合わせで顕著であった。
• Mixup正則化は、ラベル分布整合性と組み合わせた際、最も顕著な性能向上を示し、確認バイアス低減における相乗効果を強力に示した。
• 感度分析の結果、μ > 0.5 では性能が低下する一方、α > 1 および ν > 1 では堅牢性が向上し、確認バイアスが低減した。
• 誤予測の可視化結果から、Mixupはスコア分布を滑らかにし、誤った予測における信頼度を低下させることを確認し、確認バイアス低減における役割を裏付けた。