[論文レビュー] Mixture Proportion Estimation and PU Learning: A Modern Approach

Saurabh Garg, Yifan Wu+3 more|arXiv (Cornell University)|Nov 1, 2021

Machine Learning and Data Classification参考文献 44被引用数 5

ひとこと要約

本稿では、混合割合推定（MPE）およびPU学習のためのベスト・ビン推定（BBE）と、条件付きバリュー無視リスク（CVIR）を提案する。これらは高次元設定下でも正例対負例分類を正確に可能にする。両手法を統合した反復的TEDフレームワークは、緩い仮定の下で理論的保証を伴い、視覚、自然言語処理、表形式データの各分野で先行手法を上回る最先端の性能を達成する。

ABSTRACT

Given only positive examples and unlabeled examples (from both positive and negative classes), we might hope nevertheless to estimate an accurate positive-versus-negative classifier. Formally, this task is broken down into two subtasks: (i) Mixture Proportion Estimation (MPE) -- determining the fraction of positive examples in the unlabeled data; and (ii) PU-learning -- given such an estimate, learning the desired positive-versus-negative classifier. Unfortunately, classical methods for both problems break down in high-dimensional settings. Meanwhile, recently proposed heuristics lack theoretical coherence and depend precariously on hyperparameter tuning. In this paper, we propose two simple techniques: Best Bin Estimation (BBE) (for MPE); and Conditional Value Ignoring Risk (CVIR), a simple objective for PU-learning. Both methods dominate previous approaches empirically, and for BBE, we establish formal guarantees that hold whenever we can train a model to cleanly separate out a small subset of positive examples. Our final algorithm (TED)$^n$, alternates between the two procedures, significantly improving both our mixture proportion estimator and classifier

研究の動機と目的

• 高次元データ下での古典的手法および最近のヒューリスティック手法の限界を解消すること。
• ハイパーパramータチューニングに依存せず、理論的裏付けに基づいた、未ラベルデータ内の正例の割合を推定する強力な手法を開発すること。
• 未ラベル正例に過学習するのを避けるために、高損失サンプルを破棄するPU学習目的関数を設計すること。
• MPEとPU学習を反復的フレームワークに統合し、両者の推定精度および分類精度を向上させること。
• 特に、小さな正例サブドメインが分離可能である場合に限定的だが、有限標本統計的保証を確立するBBEの理論的分析

提案手法

• BBEは、閾値を特定することで混合割合αを推定する。その閾値は、その閾値を超える正例と未ラベル例の比率の上側信頼区間を最小化するものである。
• この手法は、正例対未ラベル（PvU）分類器を事前に訓練し、正例の可能性を示すスコアを出力する。この際、スコア分布の単調なキャリブレーションを仮定する。
• PU学習のためのCVIRは、各エポックで損失が最も高いα分の例を破棄することで、未ラベル正例への過学習を軽減する。
• TEDフレームワークは、BBEによるMPEとCVIRによるPU学習を交互に実行し、混合割合推定値と分類器を反復的に最適化する。
• このアプローチは任意の仮説クラス（深層ニューラルネットワークを含む）と互換性があり、再キャリブレーションや広範なハイパーパramータチューニングを必要としない。
• 理論的分析により、BBEは緩い条件下でO(1/√n)の収束レートを達成することが示された。特に、正例の分離可能な部分領域が存在する場合に顕著である。

実験結果

リサーチクエスチョン

• RQ1 古典的手法が失敗する高次元設定下でも、一貫性があり理論的裏付けのある混合割合推定が可能か？
• RQ2 ハイパーパramータチューニングに依存せず、未ラベルデータへの過学習に対して頑健なPU学習目的関数を設計可能か？
• RQ3 MPEとPU学習を反復的フレームワークに統合することで、推定精度および分類精度が顕著に向上するか？
• RQ4 BBEが最適な統計的レートを達成する条件は何か？実際の応用において、既存のMPE手法と比較してどのように差がつくか？
• RQ5 提案手法は、視覚、自然言語処理、表形式データなど、サポートが重複する多様なデータタイプに一般化可能か？

主な発見

• ResNet-18を用いたbinary-CIFARでは、TEDはベースラインPvU学習に比べ、分類精度およびMPE推定精度の両方で顕著な向上を達成した。
• UCIデータセットでは、TEDは最小の絶対推定誤差（0.001–0.007）と最高の精度（マッシュルームで98.7%、pageblockで95.7%）を達成し、すべてのベースラインを上回った。
• クラスサポートが重複するMNIST Overlapでは、TEDは最小のMPE誤差（0.035）と最高の精度（79.0%）を達成し、すべての競合手法を上回った。
• BERTを用いたIMDbでは、TEDは87.6%の精度を達成し、次に良い手法より1.4ポイント高い性能を示した。
• BBEは有限標本保証を備えた一貫性のある推定を実現し、αやデータの複雑さが異なるデータセット間でも安定した性能を示した。
• CVIRベースの学習は過学習に対して頑健であり、αが未知であっても一貫した精度向上を示した。nnPU や uPU などの手法を上回った。