[論文レビュー] The Prediction Advantage: A Universally Meaningful Performance Measure for Classification and Regression

Ran El‐Yaniv, Yonatan Geifman+1 more|arXiv (Cornell University)|May 23, 2017

Imbalanced Data Classification Techniques参考文献 14被引用数 3

ひとこと要約

本稿では、分類および回帰における普遍的で意味のある性能指標である予測優位性（PA）を導入する。PAは、ラベル分布のみを用いた最適予測（ベイジアン周辺予測、BMP）に対するモデルの改善度を定量化する。PAは、モデルのリスクとBMPリスクの比の1から引いた値として定義され、ノイズやクラス不均衡の度合いに関わらず常に意味を持つ。二乗損失におけるR²の一般化であり、精度、Fスコア、Cohenの kappa といった標準的指標よりも、自明な解の検出に優れている。

ABSTRACT

We introduce the Prediction Advantage (PA), a novel performance measure for prediction functions under any loss function (e.g., classification or regression). The PA is defined as the performance advantage relative to the Bayesian risk restricted to knowing only the distribution of the labels. We derive the PA for well-known loss functions, including 0/1 loss, cross-entropy loss, absolute loss, and squared loss. In the latter case, the PA is identical to the well-known R-squared measure, widely used in statistics. The use of the PA ensures meaningful quantification of prediction performance, which is not guaranteed, for example, when dealing with noisy imbalanced classification problems. We argue that among several known alternative performance measures, PA is the best (and only) quantity ensuring meaningfulness for all noise and imbalance levels.

研究の動機と目的

• 精度、Fスコア、Cohenの kappa といった標準的性能指標が、不均衡またはノイズのあるデータセットにおいて自明なモデルを検出できないという深刻な欠陥を是正すること。
• 分類および回帰のあらゆる損失関数に適用可能な、単一の汎用的性能指標を構築すること。
• クラス不均衡、ノイズレベル、クラス数に関係なく、性能評価が常に意味的で解釈可能であることを保証すること。
• 正規化され、スケール不変な指標を提供し、異なる学習問題間での公平な比較を可能にすること。
• データ分布バイアスに依存しない予測品質の原理的測定を提供することで、選択的予測の基盤を築くこと。

提案手法

• ラベル周辺分布 P(Y) のみに依存する最適定数予測としてベイジアン周辺予測（BMP）を定義し、その分布下での期待損失を最小化する。
• 予測優位性（PA）を PA = 1 - R(f)/R(f₀) として形式化し、R(f) をモデルのリスク、R(f₀) をBMPのリスクとする。これにより PA ∈ [0,1] が保証され、0 は自明な性能を示す。
• 0/1損失、交差エントロピー、二乗損失、絶対損失、コストセンシティブ損失といった主要な損失関数に対してPAの閉形式表現を導出する。
• 二乗損失の場合、PAが正確に既知のR²統計量に還元されることを示し、古典的回帰評価との理論的接続を確立する。
• Yaoの原理を用いてBMPを決定的定数予測に制限し、リスク計算を単純化し、一般化を可能にする。
• 性能不均衡平面における実験的比較を通じてPAの優位性を示し、他の指標よりも常に下位に位置し、自明性を最初に検出することを確認する。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡やノイズにかかわらず、あらゆる分類および回帰問題において普遍的で意味のある単一の性能指標を構築できるか？
• RQ2 多数クラスを単に予測する自明なモデルを検出できるように、性能指標を設計するにはどうすればよいか？
• RQ3 二乗損失関数以外の損失関数に対しても、解釈可能性と性能比較の公平性を保ちながらR²の一般化は可能か？
• RQ4 PAは、クラス数や不均衡比が異なるデータセット間で、モデルの性能を公平に比較可能か？
• RQ5 Fスコア、Cohenの kappa、バランス精度といった既存指標と比較して、PAは不均衡下での性能低下検出にどの程度優れているか？

主な発見

• PAは、他のすべての標準的性能指標以下であり、特に不均衡またはノイズのある状況において、自明なモデルを最初に検出する。
• 二乗損失関数の場合、PAは数学的にR²統計量と完全に等価であり、既存の回帰実務との整合性を裏付ける。
• 試験例では、ボブのPAは0.4、アリスのPAは0.46であった。これは、PAが問題の複雑さの違いを反映し、素点が同じでも性能差を区別できることを示している。
• 不均衡またはノイズのある問題において、PAは精度、バランス精度、Fスコア、Cohenの kappa よりも単調かつ厳密に低く、自明性への感受性が高いため、その感受性が証明される。
• PAはBMPリスクに対する性能の正規化を提供するため、ラベル分布の固有の難易度を捉えており、問題間の意味のある比較を可能にする。
• PAは普遍的に適用可能であり、Cohenの kappa やFスコアといった他の指標が一貫性なく検出できない状況においても、自明な解を常に検出できる。