[論文レビュー] Learning from Positive and Unlabeled Data under the Selected At Random Assumption

Jessa Bekker, Jesse Davis|arXiv (Cornell University)|Aug 27, 2018

Machine Learning and Data Classification参考文献 17被引用数 13

ひとこと要約

本稿では、選択がランダム（SAR）仮定の下で、陽性例のラベル付け確率がその属性（感受性スコア）に依存する条件下で、陽性・未ラベルデータからの学習を目的とするEMベースの手法SAR-EMを提案する。SAR仮定の下で、真の感受性スコアが未知であっても、近似的に最適な性能を達成し、強いSCAR仮定の違反に対しても頑健であることが示され、既存の最先端手法を上回る性能を発揮する。

ABSTRACT

For many interesting tasks, such as medical diagnosis and web page classification, a learner only has access to some positively labeled examples and many unlabeled examples. Learning from this type of data requires making assumptions about the true distribution of the classes and/or the mechanism that was used to select the positive examples to be labeled. The commonly made assumptions, separability of the classes and positive examples being selected completely at random, are very strong. This paper proposes a weaker assumption that assumes the positive examples to be selected at random, conditioned on some of the attributes. To learn under this assumption, an EM method is proposed. Experiments show that our method is not only very capable of learning under this assumption, but it also outperforms the state of the art for learning under the selected completely at random assumption.

研究の動機と目的

• 選択が完全にランダム（SCAR）仮定に依存するPU学習の強い仮定の制限を解消すること。SCAR仮定では、すべての陽性例が同じラベル付け確率を持つと仮定する。
• ラベル付け確率が属性の一部に依存する弱い、より現実的な仮定である選択がランダム（SAR）仮定を提示すること。
• 真の感受性スコアを事前に知らなくても、SAR仮定の下で効果的なEMベースのアルゴリズムSAR-EMを開発すること。
• 実験的に、真の感受性スコアが分かっている場合と同等の性能をSAR-EMが達成することを検証すること。また、SCAR仮定を誤って適用すると性能が低下することを示すこと。

提案手法

• SAR仮定は、ラベル付け確率を既知の属性サブセットの関数としてモデル化し、例ごとに異なる感受性スコアを導入する。
• SAR-EMアルゴリズムは期待値最大化（EM）フレームワークに従う：Eステップでは、各未ラベル例が陽性である事後確率を推定する。Mステップでは、分類器と感受性スコアモデルを更新する。
• 問題を、感受性関連属性の各設定に対応するSCAR問題の混合として扱い、局所的なクラス事前確率の推定を可能にする。
• 反復的改善により、分類器と感受性スコア関数を同時に学習し、予測精度と感受性スコア推定の両方を向上させる。
• 感受性スコアが既知か未知かの両方の状況で評価を行い、SAR-e（既知）とSAR-EM（未知）を含む。
• SAR仮定からの逸脱度合いが異なる複数の実世界データセットに、SCAR仮定の破綻度合いに応じた耐性をテストするために応用する。

実験結果

リサーチクエスチョン

• RQ1 SAR仮定の下で、ラベル付け確率が陽性例全体で一定でない場合に、SCAR仮定の違反に頑健なPU学習手法を開発できるか？
• RQ2 真のラベル付けメカニズムが既知または未知の状況で、SAR-EMの性能は最先端手法と比べてどの程度か？
• RQ3 真のメカニズムがSARであるにもかかわらずSCAR仮定を仮定すると、分類器の性能は低下するか。その低下幅はどの程度か？
• RQ4 SAR仮定の下で、SAR-EMはデータから真の感受性スコア関数を正確に再構築できるか？
• RQ5 正例の事前確率が偏った非バランスドドメインにおいて、SAR-EMは有効か？

主な発見

• SAR-EMは、真の感受性スコアを用いるSAR-eとほぼ同等の性能を発揮しており、真のラベル付けメカニズムを事前に知らなくても効果的に学習していることが示された。
• SCAR仮定が破綻している場合、それを仮定すると性能が著しく低下し、特にラベル付け確率の一様性からの逸脱が大きいほど顕著に顕在する。
• SCAR仮定が成り立たない状況では、SAR-EMは最先端のSCARベース手法を上回り、その耐性を実証した。
• 非バランスドドメインでは、真のクラス事前確率が分かっている（SCAR-c や SAR-e を用いる）と明確な利点があるが、SAR-EMはその知識がなくても強力な性能を発揮した。
• SAR-EMは、分類器のF1スコアと感受性スコアの両方の推定において高い正確性を達成しており、SCARから逸脱するデータセットでは、F1スコアが常にSCARベース手法を上回った。
• SAR-EMは、Sci-Rec、Talk-Rec、Comp-Talkなど多様なデータセットに強く一般化することができ、データ構造に応じてF1スコアは0.60から0.80の範囲で変動した。