[論文レビュー] Analysis and Comparison of Classification Metrics

Luciana Ferrer|arXiv (Cornell University)|Sep 12, 2022

Imbalanced Data Classification Techniques被引用数 18

ひとこと要約

この論文は、分類システムの評価に、期待コスト（EC）と適切なスコアルール（PSRs）を、より優れた原理的指標として提唱している。ECは標準誤差率およびバランス型誤差率を一般化しており、PSRに基づくキャリブレーション損失は、広く使われている期待キャリブレーション誤差（ECE）よりも解釈可能性、ロバスト性、多クラス対応性に優れている。これにより、ハードディシジョンとキャリブレート済みスコアの両方の評価が包括的に行える。

ABSTRACT

A variety of different performance metrics are commonly used in the machine learning literature for the evaluation of classification systems. Some of the most common ones for measuring quality of hard decisions are standard and balanced accuracy, standard and balanced error rate, F-beta score, and Matthews correlation coefficient (MCC). In this document, we review the definition of these and other metrics and compare them with the expected cost (EC), a metric introduced in every statistical learning course but rarely used in the machine learning literature. We show that both the standard and balanced error rates are special cases of the EC. Further, we show its relation with F-beta score and MCC and argue that EC is superior to these traditional metrics for being based on first principles from statistics, and for being more general, interpretable, and adaptable to any application scenario. The metrics mentioned above measure the quality of hard decisions. Yet, most modern classification systems output continuous scores for the classes which we may want to evaluate directly. Metrics for measuring the quality of system scores include the area under the ROC curve, equal error rate, cross-entropy, Brier score, and Bayes EC or Bayes risk, among others. The last three metrics are special cases of a family of metrics given by the expected value of proper scoring rules (PSRs). We review the theory behind these metrics, showing that they are a principled way to measure the quality of the posterior probabilities produced by a system. Finally, we show how to use these metrics to compute a system's calibration loss and compare this metric with the widely-used expected calibration error (ECE), arguing that calibration loss based on PSRs is superior to the ECE for being more interpretable, more general, and directly applicable to the multi-class case, among other reasons.

研究の動機と目的

• ハードディシジョンとシステムスコアを評価する指標を評価・比較すること。
• 期待コスト（EC）が、統計的根拠と柔軟性を備えているため、F-beta や正答率といった標準指標よりも優れていると主張すること。
• 適切なスコアルール（PSRs）に基づくキャリブレーション損失が、期待キャリブレーション誤差（ECE）よりもロバストで解釈しやすい代替指標であることを示すこと。
• 理論的根拠とオープンソースコードの提供により、ECおよびPSRに基づく指標の採用を促進すること。
• 多様な応用シナリオにおいて分類システムを一元的かつ原理的評価するフレームワークを提供すること。

提案手法

• 論文は、統計的意思決定理論に基づき、期待コスト（EC）を標準誤差率およびバランス型誤差率の一般化として形式的に定義している。
• 適切なスコアルール（PSRs）を用いてシステムスコアの評価を定式化し、これらは厳密に適切であり、キャリブレーション品質に敏感である。
• 著者らは、キャリブレーション損失を、実際の期待PSRと最適キャリブレーション後の最小達成可能な値との差として定義している。
• PSRに基づくキャリブレーション損失とECEを比較し、ECEの解釈可能性の欠如、ビン分割への感受性、多クラス対応の限界を指摘している。
• 理論的導出により、ECおよびPSRsがより一般的で解釈可能な統計的原則の特別なケースであることが示されている。
• すべての指標を計算可能なオープンソースリポジトリを提供しており、再現性と実用的採用を支援している。

実験結果

リサーチクエスチョン

• RQ1 期待コスト（EC）は、F-beta や正答率といった標準指標と比べて、解釈可能性および一般化性においてどのように異なるか？
• RQ2 適切なスコアルール（PSRs）に基づくキャリブレーション損失は、期待キャリブレーション誤差（ECE）をどのように上回るか？
• RQ3 なぜPSRsは、AUC や EER のような判別力のみに依存する指標よりも、事後確率の品質を評価するのに適しているのか？
• RQ4 ECは、ハードディシジョンとキャリブレート済みスコアの両方を評価する統一フレームワークとしてどのように機能するか？
• RQ5 多クラスおよび実世界の展開シナリオにおいて、PSRに基づく指標がECEに比べて実用的な利点は何か？

主な発見

• 期待コスト（EC）は、標準誤差率およびバランス型誤差率を一般化しており、ハードディシジョンの評価により柔軟で原理的な指標である。
• F-beta スコアおよび標準正答率は、ECに比べて解釈可能性と統計的根拠に劣り、特に不均衡または不確実な状況下で顕著に劣る。
• 適切なスコアルール（PSRs）に基づくキャリブレーション損失は、脆弱なヒストグラムビン分割に依存する期待キャリブレーション誤差（ECE）よりも解釈しやすくロバストである。
• PSRに基づく指標は、判別力とキャリブレーションの両方に敏感であるのに対し、AUC や EER はキャリブレーション問題に対して不変である。
• 最適キャリブレーション後の期待PSRの最小値は、システム性能の下限を示し、キャリブレーション損失の正確な測定を可能にする。
• オープンソースリポジトリにより、すべての結果の完全な再現性が確保され、ECおよびPSRに基づく指標の実用的採用を支援している。