[論文レビュー] Evaluating Probabilistic Classifiers: The Triptych

Timo Dimitriadis, Tilmann Gneiting+2 more|arXiv (Cornell University)|Jan 25, 2023

Forecasting Techniques and ApplicationsDecision Sciences被引用数 3

ひとこと要約

本稿は、確率的分類器の評価を目的とした三部作の診断図—信頼性図、ROC曲線、Murphy図—を導入し、キャリブレーション、識別能、全体的な予測性能の包括的評価を可能にする。主な貢献は、スコア分解を用いてずれ、識別能、不確実性の各成分に分離する理論的根拠に基づくフレームワークであり、キャリブレーションされた予測においては、これらの指標の順位付けが等価であることを示している。

ABSTRACT

Probability forecasts for binary outcomes, often referred to as probabilistic classifiers or confidence scores, are ubiquitous in science and society, and methods for evaluating and comparing them are in great demand. We propose and study a triptych of diagnostic graphics that focus on distinct and complementary aspects of forecast performance: The reliability diagram addresses calibration, the receiver operating characteristic (ROC) curve diagnoses discrimination ability, and the Murphy diagram visualizes overall predictive performance and value. A Murphy curve shows a forecast's mean elementary scores, including the widely used misclassification rate, and the area under a Murphy curve equals the mean Brier score. For a calibrated forecast, the reliability curve lies on the diagonal, and for competing calibrated forecasts, the ROC and Murphy curves share the same number of crossing points. We invoke the recently developed CORP (Consistent, Optimally binned, Reproducible, and Pool-Adjacent-Violators (PAV) algorithm based) approach to craft reliability diagrams and decompose a mean score into miscalibration (MCB), discrimination (DSC), and uncertainty (UNC) components. Plots of the DSC measure of discrimination ability versus the calibration metric MCB visualize classifier performance across multiple competitors. The proposed tools are illustrated in empirical examples from astrophysics, economics, and social science.

研究の動機と目的

• 複数の性能次元にわたる確率的分類器の評価のための統一的で理論的根拠を持つフレームワークの欠如に対処すること。
• 競合する評価指標の選定の難しさを解消するため、補完的な診断図の整合的三部作を提案すること。
• PAVアルゴリズムに基づくCORPアプローチを用いて、キャリブレーションの評価を一貫的かつ再現可能に行う方法を提供すること。
• キャリブレーションの下で、鋭さ、識別能、適切なスコアルール性能の理論的同等性を確立すること。
• 実務家が信頼性、識別能、全体スコア性能の組み合わせを用いて予測を包括的に比較できる一貫した再現可能な手法を提供すること。

提案手法

• 信頼性図（CORP法による一貫的かつ最適なビン分割を伴う再現可能なキャリブレーション評価）、識別能のためのROC曲線、全体的な予測性能のためのMurphy図からなる三部作の診断図を提案する。
• CORPフレームワークを用いて、PAVに基づくビン分割により信頼性図を構築し、キャリブレーション評価における一貫性と再現可能性を確保する。
• スコア分解を用いて、平均Brierスコアを三つの成分に分解する：ずれ（MCB）、識別能（DSC）、不確実性（UNC）。
• 適切なスコアルールをMurphy曲線として表現し、閾値パラメータθの関数として平均基本スコアをプロットする。この曲線の下側面積は平均Brierスコアに等しい。
• 凸順序の概念を用いて鋭さを形式化し、すべての凸関数の期待値がより高い場合、ある予測が他より鋭いと定義する。
• キャリブレーションの仮定の下で、ROC曲線、Murphy曲線、鋭さ順序における支配関係の理論的同等性を確立する。

実験結果

リサーチクエスチョン

• RQ1 確率的分類器は、キャリブレーション、識別能、全体的な予測性能という三つの核心的次元において、どのように評価され、比較可能か？
• RQ2 確率的予測におけるずれ、識別能、不確実性の間の理論的関係は何か？
• RQ3 ROC曲線、Murphy曲線、鋭さの順位付けが一致する条件は何か？
• RQ4 信頼性図は、一貫的で再現可能かつ最適なビン分割を伴う形でどのように構築できるか？
• RQ5 適切なスコアルールは、異なる性能側面にわたる確率的予測の評価を統合するために果たす役割は何か？

主な発見

• キャリブレーションされた予測において、ROC曲線とMurphy曲線の交差点の数は同一であり、比較のための一貫した基盤を提供する。
• Murphy曲線の下側面積は平均Brierスコアに等しく、基本スコアの積分と広く用いられる適切なスコアルールを結びつける。
• 予測がキャリブレーションされている場合、鋭さ（凸順序で）が高い予測は、ROCおよびMurphy曲線比較において、すべての他の予測を支配する。
• Murphy曲線とROC曲線の差の符号変化の数は同一であり、性能順位の整合性を保証する。
• CORP法により、一貫的かつ最適なビン分割、再現可能性を備えた信頼性図が得られ、従来のビン分割法を改善する。
• MCB、DSC、UNC成分へのスコア分解により、詳細な診断分析が可能となり、MCBおよびDSCプロットは複数のモデルにおける分類器性能の視覚的要約を提供する。