[論文レビュー] MixPUL: Consistency-based Augmentation for Positive and Unlabeled Learning

Wei Tong, Feng Shi+2 more|arXiv (Cornell University)|Apr 20, 2020

Machine Learning and Data Classification参考文献 24被引用数 4

ひとこと要約

MixPULは、クラス事前分布の知識を必要とせず、mixupと教師あり/教師なしの一貫性正則化を活用する一貫性ベースのデータ拡張手法を、正例と未ラベル例（PU）学習に提案する。信頼性の高い未ラベルデータからの負例の抽出とマージン損失の適用により、AUCの向上と分類誤差の低減を実現し、正例セットサイズが異なる状況下でCIFAR-10で誤差を20.6%相対的に削減（16.49から13.09に）した。

ABSTRACT

Learning from positive and unlabeled data (PU learning) is prevalent in practical applications where only a couple of examples are positively labeled. Previous PU learning studies typically rely on existing samples such that the data distribution is not extensively explored. In this work, we propose a simple yet effective data augmentation method, coined~\algo, based on \emph{consistency regularization} which provides a new perspective of using PU data. In particular, the proposed~\algo~incorporates supervised and unsupervised consistency training to generate augmented data. To facilitate supervised consistency, reliable negative examples are mined from unlabeled data due to the absence of negative samples. Unsupervised consistency is further encouraged between unlabeled datapoints. In addition,~\algo~reduces margin loss between positive and unlabeled pairs, which explicitly optimizes AUC and yields faster convergence. Finally, we conduct a series of studies to demonstrate the effectiveness of consistency regularization. We examined three kinds of reliable negative mining methods. We show that~\algo~achieves an averaged improvement of classification error from 16.49 to 13.09 on the CIFAR-10 dataset across different positive data amount.

研究の動機と目的

• 既存のPU学習手法がクラス事前分布の推定に依存するという制限を解消し、その推定値が不正確で性能を低下させる問題に対処すること。
• ラベル付きデータおよび未ラベル付きデータの両方に対してmixupを用いた一貫性正則化を導入することで、PU学習における一般化性能とAUCの向上を図ること。
• 既知のデータ分布を仮定せず、未ラベルデータを効果的に活用できる、頑健で事前分布に依存しない手法を開発すること。
• 真の負例ラベルが存在しない状況下で、さまざまな信頼性の高い負例マイニング戦略の有効性を評価すること。
• 一貫性正則化とマージン損失が併用されることで収束が加速し、モデル安定性が向上することを示すこと。

提案手法

• MixPULは、正例と未ラベル例のペアを混合し、それらのラベルに対しても混合することで、混同されたラベルを一貫して予測するようモデルを正則化する、mixupに基づく一貫性正則化を適用する。
• 未ラベルデータから信頼性の高い負例をマイニングすることで、教師ありの一貫性損失を導入し、より良い一般化性能を実現する。
• 未ラベルデータ同士のmixupを用いて、データ多様体の低密度領域でもモデルの頑健性を高めるために、非教師ありの一貫性損失を強制する。
• 正例と未ラベル例のペア間にマージン損失を導入し、AUCのリスクを明示的に最小化することで、正例に対して高いモデルの信頼性を促進する。
• mixup、負例マイニング、マージン損失を統合した目的関数を構築し、AUCと一貫性の両方を同時に最適化する。
• 3種類の負例マイニング手法を評価：距離ベース（Dist）、NTC（ランダムフォレスト）、ランダムダウンサンプリング（Rand）、その中でRandが優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 クラス事前分布の推定を必要とせずに、mixupを用いた一貫性ベースのデータ拡張が、PU学習の性能向上に寄与するか。
• RQ2 真の負例ラベルが存在しない状況下で、さまざまな信頼性の高い負例マイニング戦略の有効性はいかほどか。
• RQ3 未ラベルデータに対して非教師ありのmixupを適用することで、PU学習におけるモデルの一般化性能と収束速度が向上するか。
• RQ4 正例と未ラベル例のペア間にマージン損失を組み込むことで、AUCとモデル安定性がどの程度向上するか。
• RQ5 mixup、負例マイニング、マージン損失の組み合わせは、uPU や nnPU といった最先端のPU学習手法と比較して、どのように優れているか。

主な発見

• CIFAR-10において、さまざまな正例セットサイズの下で、MixPULは平均分類誤差を16.49から13.09に削減し、相対的に20.6%の改善を達成した。
• ランダムダウンサンプリングによる負例マイニング手法が、距離ベースおよびNTCベースの手法を上回り、特にデータが少ない状況下で顕著な優位性を示した。
• 未ラベルデータに対する非教師ありmixupは、一般化性能を顕著に向上させ、初期の不安定さに続く訓練段階で誤差が10%未満に低下した。
• マージン損失の導入により、収束が早くなり、特にmixupと組み合わせた場合に訓練の安定性が向上した。
• 真のクラス事前分布値が入手不可であっても、MixPULはuPU や nnPU といった最先端手法を上回り、正例データが少ない状況下で特に優れた性能を示した。
• アブレーションスタディの結果、mixup、マージン損失、負例マイニングの各要素が不可欠であることが確認され、いずれかを除去すると性能の低下やモデル崩壊が生じた。