[論文レビュー] Technical Note: Towards ROC Curves in Cost Space

José Hernández‐Orallo, Peter Flach+1 more|arXiv (Cornell University)|Jul 29, 2011

Imbalanced Data Classification Techniques参考文献 16被引用数 3

ひとこと要約

本稿では、正例の予測割合が運用条件（コスト割合またはスケュー）と一致するようにしきい値を選択することにより、受信者操作特性（ROC）曲線をコスト空間にマッピングする新しい可視化手法であるROCコスト曲線を導入する。この手法により、ROCコスト曲線の下側面積とAUCの間には線形関係が成立し、スコアが等間隔に配置された場合、この面積はブレアスコアに等しくなることが示され、AUCとブレアスコアの間で初めて直接的な関係が確立される。

ABSTRACT

ROC curves and cost curves are two popular ways of visualising classifier performance, finding appropriate thresholds according to the operating condition, and deriving useful aggregated measures such as the area under the ROC curve (AUC) or the area under the optimal cost curve. In this note we present some new findings and connections between ROC space and cost space, by using the expected loss over a range of operating conditions. In particular, we show that ROC curves can be transferred to cost space by means of a very natural way of understanding how thresholds should be chosen, by selecting the threshold such that the proportion of positive predictions equals the operating condition (either in the form of cost proportion or skew). We call these new curves {ROC Cost Curves}, and we demonstrate that the expected loss as measured by the area under these curves is linearly related to AUC. This opens up a series of new possibilities and clarifies the notion of cost curve and its relation to ROC analysis. In addition, we show that for a classifier that assigns the scores in an evenly-spaced way, these curves are equal to the Brier Curves. As a result, this establishes the first clear connection between AUC and the Brier score.

研究の動機と目的

• 文献において歴史的に一貫性のなかったROC空間とコスト空間の関係を明確化すること。
• ROC曲線上の点と直接対応する新しいコスト曲線のクラス、すなわちROCコスト曲線を定義すること。
• ROCコスト曲線の下側面積とAUCの間の正式な関係を確立し、線形関係を示すこと。
• スコアが等間隔に配置された分類器に対して、ROCコスト曲線の下側面積がブレアスコアに等しくなることを示し、2つの主要な性能指標を結びつけること。
• レートベースのしきい値選択を用いた、コスト感受性学習におけるしきい値選択の原則的フレームワークを提供すること。

提案手法

• 正例予測の割合がコスト割合（またはスケュー）と一致するようにしきち値を選択するしきい値選択法を提案し、コスト空間におけるx軸のセグメント長を均等に保証する。
• コスト割合における期待損失を導出し、その結果得られる曲線（ROCコスト曲線）がコスト空間における区分的線形関数であることを示す。
• コスト割合からスケューへの変数変換を用いて一般化し、AUCとROCコスト曲線の下側面積の間の線形関係を導出する。
• スコアが等間隔に配置された分類器にこの手法を適用し、この条件下でROCコスト曲線がブレア曲線と同一になることを示す。
• ROCコスト曲線の下側面積がAUCの線形変換と数学的に同等であることを示し、特定のケース（例：ランダム、完全、最悪の分類器）では正確な等価性が成立することを示す。
• グラフィカルな例と数値計算による検証を通じて理論的結果を検証し、ROCコスト曲線を最適コスト曲線およびブレア曲線と比較する。

実験結果

リサーチクエスチョン

• RQ1 先行研究において直接的な対応関係が欠落していたことから、ROC曲線をコスト空間に意味的に表現する方法は何か？
• RQ2 ROC曲線上の点とコスト空間表現の間で一対一のマッピングを可能にするしきい値選択法は何か？
• RQ3 ROCコスト曲線の下側面積とAUCの間に正式な関係はあるか？
• RQ4 ブレアスコアはコスト曲線の下側面積として解釈可能か？ その条件は何か？
• RQ5 ROCコスト曲線は、最適コスト曲線やブレア曲線といった既存の表現とどのように比較できるか？

主な発見

• ROCコスト曲線の下側面積はAUCと線形関係にあり、正確な関係式は $ \text{Area} = 2\pi_1\pi_0(1 - \text{AUC}) + \frac{1}{3} - \pi_1\pi_0 $ で表される。
• スコアが等間隔に配置された分類器に対して、ROCコスト曲線はブレア曲線と一致し、ROCコスト曲線の下側面積はブレアスコアに等しい。
• これにより、広く用いられる2つの性能指標であるAUCとブレアスコアの間で、初めて正式かつ直接的な関係が確立される。
• ROCコスト曲線は最適コスト曲線の妥当で解釈可能な代替手段を提供し、各セグメントがROC曲線上の点に対応しており、同じ性能情報を反映している。
• 完全にキャリブレーションされた分類器でスコアが同一である場合、ROCコスト曲線は最適コスト曲線に比べて部分的に最適でないしきい値選択を行う可能性があり、レートベース手法におけるトレードオフを示唆する。
• 数値的検証では、ROCコスト曲線とブレア曲線の下側面積がほぼ同一（0.2006 vs. 0.2047）であり、実装上の同値処理の差がわずかな差異を生じさせている。