[論文レビュー] Theoretical Comparisons of Learning from Positive-Negative, Positive-Unlabeled, and Negative-Unlabeled Data

Gang Niu, Marthinus Christoffel du Plessis+2 more|arXiv (Cornell University)|Mar 10, 2016

Machine Learning and Data Classification被引用数 3

ひとこと要約

この論文は、PU（正例-未ラベル）学習とNU（負例-未ラベル）学習を、従来のPN（正例-負例）学習と理論的に比較し、無限の未ラベルデータがある場合、PUまたはNU学習のいずれかがほぼ確実にPN学習を上回ることを証明している。この研究は、負例が欠落しているにもかかわらずPU学習が教師ありPN学習を上回ることの経験的観察を理論的に裏付ける基盤を確立する。

ABSTRACT

In PU learning, a binary classifier is trained only from positive (P) and unlabeled (U) data without negative (N) data. Although N data is missing, it sometimes outperforms PN learning (i.e., supervised learning) in experiments. In this paper, we theoretically compare PU (and the opposite NU) learning against PN learning, and prove that, one of PU and NU learning given infinite U data will almost always improve on PN learning. Our theoretical finding is also validated experimentally.

研究の動機と目的

• PUおよびNU学習の性能を、従来のPN学習と理論的に分析すること。
• 未ラベルデータが豊富な場合に、PUまたはNU学習がPN学習を上回れるかどうかを調査すること。
• 負例が欠落しているにもかかわらずPU学習がPN学習を上回るという経験的観察に、形式的な根拠を提供すること。
• 未ラベルデータが増加するにつれて、PUまたはNU学習がPN学習を上回る条件を確立すること。

提案手法

• PU、NU、PN学習フレームワーク下での二値分類の性能に関する理論的分析。
• 無限の未ラベルデータを用いたPU、NU、PN学習の一般化誤差バウンドの比較。
• PUまたはNU学習が漸近的にPN学習を上回る条件の導出。
• 確率的および統計的モデルを用いて、データ分布と学習性能の関係を形式化すること。
• 無限の未ラベルデータがある場合、PUまたはNU学習のいずれかがほぼ確実にPN学習を上回ることの証明。

実験結果

リサーチクエスチョン

• RQ1 PU学習がPN学習を上回る条件は何か？
• RQ2 未ラベルデータが豊富な場合、NU学習もPN学習を上回れるか？
• RQ3 負例が欠落しているにもかかわらずPU学習が成功するという経験的成果の理論的根拠はあるか？
• RQ4 未ラベルデータが無限に近づくにつれて、PU、NU、PN学習の一般化誤差はどのように比較されるか？

主な発見

• 無限の未ラベルデータがある場合、PUまたはNU学習のいずれかがほぼ確実にPN学習を上回る。
• 理論的優位性は、PUおよびNU学習が未ラベルデータを活用して意思決定境界をよりよく推定できる能力に起因する。
• PUおよびNU学習が同時に優位になるとは限らないが、少なくとも一方は漸近的にPN学習を上回る。
• この結果は、PU学習がPN学習を上回るという経験的観察を理論的に説明するものである。