[論文レビュー] Assessing binary classifiers using only positive and unlabeled data

Marc Claesen, Jesse Davis+2 more|arXiv (Cornell University)|Jan 1, 2015

Machine Learning and Data Classification参考文献 31被引用数 7

ひとこと要約

本論文は、未知の陽性例の割合を推定することで、陽性例と未ラベル付きデータのみを用いて、AUC や PR 曲線などのバイナリ分類器の性能指標を推定する手法を提案する。この手法は、ランク分布解析を用いて偽陽性率の下限と上限を構築し、完全にラベル付けされたテストセットがなくても信頼性の高い評価を可能にする。実データを用いた実証的検証により、正確な曲線推定が達成された。

ABSTRACT

Assessing the performance of a learned model is a crucial part of machine learning. However, in some domains only positive and unlabeled examples are available, which prohibits the use of most standard evaluation metrics. We propose an approach to estimate any metric based on contingency tables, including ROC and PR curves, using only positive and unlabeled data. Estimating these performance metrics is essentially reduced to estimating the fraction of (latent) positives in the unlabeled set, assuming known positives are a random sample of all positives. We provide theoretical bounds on the quality of our estimates, illustrate the importance of estimating the fraction of positives in the unlabeled set and demonstrate empirically that we are able to reliably estimate ROC and PR curves on real data.

研究の動機と目的

• 標準的な指標が完全にラベル付けされたテストセットを必要とするため、陽性例と未ラベル付き例しか入手できない状況におけるバイナリ分類器の評価の課題に対処すること。
• 未ラベル付きデータの真のラベルが入手できない状況でも、AUC や精度、再現率などの性能指標を推定できる手法を開発すること。
• 未ラベル付きデータの陽性例割合の推定値と予測の順位のみを用いて、偽陽性率の理論的境界を提供すること。
• すべての未ラベル付きデータを陰性と単純に仮定するようなナーダルな仮定が、誤ったモデル選択を引き起こす可能性があることを示し、より洗練された評価手法の必要性を強調すること。

提案手法

• 既知の陽性例のランク分布のブートストラップに基づく信頼区間を用いて、未ラベル付き集合内の潜在的陽性例の割合 β を推定する。
• 全順位付けにおける既知の陽性例のランク累積分布関数（CDF）を分析することで、各ランクにおける偽陽性率の下限と上限を構築する。
• これらの境界から連関表を導出し、不確実性を伴う真陽性率、偽陽性率、精度、再現率の推定を可能にする。
• 既知の陽性例のランク CDF を用いて仮想の陽性セットを推定し、性能指標への不確実性を伝搬する。
• 推定された β をパラメータとして仮定し、偽陽性率をスケーリングすることで ROC および PR 曲線の境界を定式化する。感度分析により、AUC への影響が非一様であることが示された。
• 実世界のデータ（covtype）を用いて検証し、β の異なる推定値に対して推定された境界と真の曲線を比較した。

実験結果

リサーチクエスチョン

• RQ1 陽性例と未ラベル付きデータしか入手できない状況で、AUC や精度、再現率といった性能指標を信頼性を持って推定できるか？
• RQ2 未ラベル付き集合内の潜在的陽性例の割合に関する不確実性が、推定された性能指標の信頼性にどのように影響するか？
• RQ3 未ラベル付き例の真のラベルが不明な状況で、偽陽性率の理論的境界は何か？
• RQ4 すべての未ラベル付き例を陰性と単純に仮定することは、誤ったモデル選択を引き起こすか？ もしそうなら、どのように回避できるか？
• RQ5 潜在的陽性例の割合 β の異なる推定値を用いた場合、推定された ROC および PR 曲線は真の曲線とどのように異なるか？

主な発見

• 本手法は、陽性例と未ラベル付きデータのみを用いて ROC および PR 曲線を推定でき、covtype データセットにおいて真の性能曲線に近い境界を達成した。
• β が 49% と推定された場合、モデル1の推定 AUC は 75.5%（真の値 72.5%）であり、モデル2では 74.7%（真の値 73.2%）であった。実証的精度が高く、良好な結果が得られた。
• β の信頼区間（0.8β から 1.2β）が真の潜在的陽性例のランク CDF を含んでおり、ブートストラップ推定手法の妥当性が裏付けられた。
• PR 空間における推定は、ROC 空間よりも β の推定誤差に対して感受性が高かった。これは、精度がクラスバランスに依存するためである。
• 既知の陰性例が、仮想陽性セットへの割り当てにおける自由度を減らすことで推定品質をわずかに向上させるが、実際の応用ではその恩恵は小さい。
• 多くの陰性例が利用可能な場合、β を 1−β に反転させることで性能境界が改善されることが示された。これは、ラベルの反転を新たな改善手法として検討する可能性を示唆している。