[論文レビュー] Self-PU: Self Boosted and Calibrated Positive-Unlabeled Training

Xuxi Chen, Wuyang Chen+5 more|arXiv (Cornell University)|Jun 22, 2020

Machine Learning and Data Classification被引用数 29

ひとこと要約

Self-PUは、自己プレーリング学習、自己キャリブレーション損失再重み付け、および教師-生徒ネットワーク間の知識蒸留を統合する画期的な自己教師ありフレームワークを提案する。MNISTおよびCIFAR-10ベンチマークで最先端の性能を達成し、実世界のアルツハイマー病神経画像行動イニシャチブ（ADNI）データセットにおいても新たなSOTAを樹立し、既存のPU手法を著しく上回る性能を発揮する。

ABSTRACT

Many real-world applications have to tackle the Positive-Unlabeled (PU) learning problem, i.e., learning binary classifiers from a large amount of unlabeled data and a few labeled positive examples. While current state-of-the-art methods employ importance reweighting to design various risk estimators, they ignored the learning capability of the model itself, which could have provided reliable supervision. This motivates us to propose a novel Self-PU learning framework, which seamlessly integrates PU learning and self-training. Self-PU highlights three "self"-oriented building blocks: a self-paced training algorithm that adaptively discovers and augments confident positive/negative examples as the training proceeds; a self-calibrated instance-aware loss; and a self-distillation scheme that introduces teacher-students learning as an effective regularization for PU learning. We demonstrate the state-of-the-art performance of Self-PU on common PU learning benchmarks (MNIST and CIFAR-10), which compare favorably against the latest competitors. Moreover, we study a real-world application of PU learning, i.e., classifying brain images of Alzheimer's Disease. Self-PU obtains significantly improved results on the renowned Alzheimer's Disease Neuroimaging Initiative (ADNI) database over existing methods. The code is publicly available at: https://github.com/TAMU-VITA/Self-PU.

研究の動機と目的

• 従来の重要度再重み付けに依存するのみで、モデル自身の自己教師あり学習を無視する既存のPU学習手法の限界を是正すること。
• 自己教師あり学習を通じてモデル自身の学習能力を活用することで、PU学習における訓練の安定性と性能を向上させること。
• アルツハイマー病神経画像行動イニシャチブ（ADNI）から得た神経画像データを用いて、現実的で挑戦的な新しいベンチマークをPU学習に導入すること。
• 自己教師あり要因（自己プレーリング選択、自己キャリブレーション、自己蒸留）が、データが少ない環境下でのPU学習を著しく向上させられることを実証すること。

提案手法

• Self-PUは、反復的に信頼性の高い未ラベル付き例を特定し、信頼できる正例・負例の集合に追加する自己プレーリング訓練戦略を採用する。
• 非負のPU（nnPU）リスク推定器と自己キャリブレーションされた交差エントロピー損失を組み合わせたハイブリッド損失を導入し、後者はメタ学習を用いて動的に再重み付けされ、信頼性の低い例に対する監視を強化する。
• 複数の教師・生徒ネットワークを用いた自己蒸留方式を実装し、予測の一貫性を正則化として用いることで訓練の安定性を向上させる。
• メタ学習に基づくキャリブレーションメカニズムを用いて、信頼性の低い例に対する損失重みを動的に調整し、一般化性能を向上させる。
• 自己指向の3要素を統合する：自己プレーリング例選択、自己キャリブレーション損失、自己蒸留知識移譲。
• α、β、γといったハイパーパrameterは、信頼性しきい値、蒸留スムージング、損失重み付けのバランスをとるために調整され、最適値は経験的に特定された。

実験結果

リサーチクエスチョン

• RQ1 モデル自身の予測から得られる自己教師あり学習が、従来の重要度再重み付けを上回る性能向上をPU学習にもたらすか？
• RQ2 信頼性の高い例選択のための自己プレーリング訓練が、PU学習の安定性と精度に与える影響はいかほどか？
• RQ3 自己キャリブレーション損失再重み付けが、曖昧または信頼性の低い例に対する監視をどの程度向上させるか？
• RQ4 教師-生徒モデル間の知識蒸留が、弱教師ありPU学習における有効な正則化として機能するか？
• RQ5 提案されたSelf-PUフレームワークは、アルツハイマー病分類のような現実的で複雑な医療画像タスクにも効果的に一般化できるか？

主な発見

• MNISTでは、Self-PUはuPUおよびnnPUを0.5%以上上回り、新たな最先端の精度を達成した。
• CIFAR-10では、Self-PUはnnPUを1%以上上回り、正例が1,000例の状況でも、3,000例を用いるDANの性能に匹敵した。
• 正例が3,000例の状況では、Self-PUはDANを1%上回り、優れたデータ効率性を示した。
• ADNIデータセットでは、Self-PUはuPUおよびnnPUよりも著しく優れた性能を発揮し、アルツハイマー病神経画像学におけるPU学習の新たな最先端を樹立した。
• Self-PUの訓練プロセスは、uPUおよびnnPUと比べて著しく安定しており、過学習による後期の精度低下を回避した。
• アブレーションスタディにより、自己プレーリング選択、自己キャリブレーション、自己蒸留の3要素が相乗的に性能向上に寄与することが確認された。