[論文レビュー] On the equivalence between Kolmogorov-Smirnov and ROC curve metrics for binary classification

Paulo J. L. Adeodato, Silvio de Barros Melo|arXiv (Cornell University)|Jun 1, 2016

Medical Imaging and Analysis参考文献 9被引用数 4

ひとこと要約

本論文は、受信者操作特性曲線の下側面積（AUC_ROC）とコルモゴロフ＝スミルノフ曲線の下側面積（AUC_KS）の間の数学的同等性を確立し、AUC_ROC = 0.5 + AUC_KS を証明している。この結果により、誤り発生率を独立変数として使用するより単純なKS曲線を用いてAUC_ROCを効率的に計算可能となり、統計的および情報理論的分類器評価フレームワークの理論的統合が可能になる。

ABSTRACT

Binary decisions are very common in artificial intelligence. Applying a threshold on the continuous score gives the human decider the power to control the operating point to separate the two classes. The classifier,s discriminating power is measured along the continuous range of the score by the Area Under the ROC curve (AUC_ROC) in most application fields. Only finances uses the poor single point metric maximum Kolmogorov-Smirnov (KS) distance. This paper proposes the Area Under the KS curve (AUC_KS) for performance assessment and proves AUC_ROC = 0.5 + AUC_KS, as a simpler way to calculate the AUC_ROC. That is even more important for ROC averaging in ensembles of classifiers or n fold cross-validation. The proof is geometrically inspired on rotating all KS curve to make it lie on the top of the ROC chance diagonal. On the practical side, the independent variable on the abscissa on the KS curve simplifies the calculation of the AUC_ROC. On the theoretical side, this research gives insights on probabilistic interpretations of classifiers assessment and integrates the existing body of knowledge of the information theoretical ROC approach with the proposed statistical approach based on the thoroughly known KS distribution.

研究の動機と目的

• 二値分類におけるコルモゴロフ＝スミルノフ（KS）指標と受信者操作特性曲線の下側面積（AUC_ROC）の間の正式な数学的関係を確立すること。
• AUC_ROCの代替として実用的かつ理論的に妥当な性能評価指標として、KS曲線の下側面積（AUC_KS）を提案すること。
• AUC_ROCの計算を単純化するために、誤り発生率を独立変数として使用するKS曲線の幾何的および計算的利点を活用すること。
• 分類器評価におけるKS分布に基づく統計的手法と情報理論的ROC解析を統合すること。

提案手法

• 著者らは、KS曲線をROCのランダムな対角線に一致させる幾何的変換を用いて、AUC_ROC = 0.5 + AUC_KS の同等性を導出する。
• この手法は、正例と負例のスコア差の累積分布関数としてKS曲線を解釈することに依存する。
• 証明は、KS統計量が二つのクラスの経験的累積分布関数の間の最大垂直距離を測定することを根拠としている。
• 変換によりKS曲線がROC空間にマッピングされ、KS曲線の下側面積が提示された線形関係を通じてAUC_ROCに直接寄与することが明らかになった。
• 誤り発生率をKS曲線の独立変数として扱うことで、AUC_KSの数値的統合が簡素化される。

実験結果

リサーチクエスチョン

• RQ1 受信者操作特性曲線の下側面積（AUC_ROC）とコルモゴロフ＝スミルノフ曲線の下側面積（AUC_KS）の間に直接的な数学的関係があるか？
• RQ2 AUC_KSは、二値分類器の性能評価においてAUC_ROCの計算がより単純な代替手段として利用可能か？
• RQ3 KS曲線をROC空間に幾何的に変換することで、AUC_ROCとAUC_KSの同等性がどのように明らかになるか？
• RQ4 分類器評価の文脈において、AUC_KS指標の確率的解釈は何か？

主な発見

• 本論文は、AUC_ROC = 0.5 + AUC_KS を証明し、二つの指標の間の直接的かつ正確な数学的同等性を確立している。
• AUC_KS指標は、誤り発生率がKS曲線の独立変数として機能するため、AUC_ROCの計算を簡素化し、より効率的な数値的統合を可能にする。
• KS曲線をROCのランダム対角線に幾何的に変換することで、導出された同等性の視覚的および分析的基盤が得られる。
• アンサンブル手法やk分割交差検証における性能平均化をより効率的に行うために、AUC_ROCの計算をAUC_KSに置き換えることが可能になる。