[論文レビュー] Unachievable Region in Precision-Recall Space and Its Effect on Empirical Evaluation

Kendrick Boyd, Vı́tor Santos Costa+2 more|arXiv (Cornell University)|Jun 18, 2012

AI-based Problem Solving and Planning参考文献 9被引用数 59

ひとこと要約

この論文は、クラスの偏りに起因するのみで生じる、以前に認識されていなかった適合不能領域を特定し、それが正のクラスの割合にのみ依存する閉形式の大きさを持つことを証明している。著者らは、この領域が、たとえランダムなモデルであっても超える必要がある最小のPR曲線を定義しており、歪んだデータセットにおけるAUCPR評価やF1スコアの解釈に根本的な歪みをもたらすことを示している。

ABSTRACT

Precision-recall (PR) curves and the areas under them are widely used to summarize machine learning results, especially for data sets exhibiting class skew. They are often used analogously to ROC curves and the area under ROC curves. It is known that PR curves vary as class skew changes. What was not recognized before this paper is that there is a region of PR space that is completely unachievable, and the size of this region depends only on the skew. This paper precisely characterizes the size of that region and discusses its implications for empirical evaluation methodology in machine learning.

研究の動機と目的

• 固定されたクラスの偏りに対して、任意の混同行列が達成可能な精度-再現率（PR）空間内の領域を特定し、形式的に特徴づけること。
• この適合不能領域が、すべてのモデルが超える必要がある最小のPR曲線を生じることを示すこと。
• この領域が、歪んだデータセットにおけるAUCPRやF1スコアといった実験的評価指標に与える影響を分析すること。
• 特に交差検証、ダウンサンプリング、AUCPR最適化トレーニングにおけるアルゴリズム評価に与える影響を調査すること。
• この適合不能領域の混同効果を軽減するためのAUCPRおよびF1の修正版を提案すること。

提案手法

• 精度（p）と再現率（r）を、真正陽性（tp）、偽陽性（fp）、偽陰性（fn）、真正陰性（tn）で定義し、クラスの偏りを π = pos/n とする。
• PR空間におけるすべての（r, p）ペアが達成可能ではないことを証明する。具体的には、p < rπ / (1 - π + rπ) である点（r, p）は適合不能である。
• 適合不能領域の境界としての最小PR曲線を導出する。その式は p = rπ / (1 - π + rπ) であり、これは各再現率rに対して達成可能な最小精度を表す。
• この最小PR曲線の下側面積がπにのみ依存する関数であり、閉形式の式として A_min = π(1 - π) / (1 - π + π) = π(1 - π) で与えられることを示す。
• この領域がAUCPR評価に与える影響を分析する。特に、スケールが異なる複数のタスクやfoldに対して集約する場合の影響を検討する。
• 最小曲線を考慮した修正版AUCPRおよびF1スコアの提案を行うが、すべての望ましい性質を満たす完全に一貫した修正F1は数学的に不可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 与えられたクラスの偏りπに対して、PR空間のどの程度が適合不能であり、この領域を正確に特徴づけることができるか？
• RQ2 適合不能領域の存在が、歪んだデータセットにおけるAUCPRの解釈にどのように影響するか？
• RQ3 この領域がF1スコアの評価に与える影響は何か。特に、性能の点が最小PR曲線の近くまたは下にある場合にどうなるか？
• RQ4 ダウンサンプリングやスケールが異なる偏りを伴う交差検証では、最小PR曲線がAUCPR比較をどのように拡大または歪めるか？
• RQ5 すべての望ましい性質（最小曲線上で0、精度および再現率に関して単調性を保つ）を満たす修正F1スコアを構築できるか？

主な発見

• 与えられたクラスの偏りπに対して、PR空間の一部が適合不能であり、その下限は曲線 p = rπ / (1 - π + rπ) で与えられ、これは各再現率rに対して達成可能な最小精度を表す。
• この最小PR曲線の下側面積は正確に π(1 - π) であり、正のクラスの割合にのみ依存する閉形式の式である。
• たとえランダムなモデルや性能の低い分類器であっても、AUCPRが常に π(1 - π) 以上になることが保証されており、他のタスクがより偏りが小さい場合、多タスク評価において全体のAUCPRを支配する可能性がある。
• スケールが異なるタスクのAUCPRを平均化する際、非偏りのタスク（π = 0.5）の最小曲線の下側面積が、他のすべての偏りのあるタスクの合計AUCPRを上回る場合がある。
• F1スコアは誤解を招く可能性がある。同じF1値を持つ点であっても、その位置は、適合不能領域、最小曲線に近い領域、あるいは達成可能で高性能な領域に分かれるため、解釈が誤られることがある。
• すべての望ましい性質（最小曲線上で0、精度および再現率に関して単調性を保つ）を満たす修正F1スコアは、境界条件における論理的矛盾のため、数学的に存在しない。