[論文レビュー] Extending F1 metric, probabilistic approach

Mikołaj Sitarz|arXiv (Cornell University)|Oct 21, 2022

Neural Networks and Applications参考文献 9被引用数 7

ひとこと要約

本稿では、適合率、再現率、特異度、負の予測値を調和平均した対称的かつ有界な[0,1]指標である確率的F1拡張P₄を提案する。F1の限界を補完するため、真陰性を組み込み、どの主要な条件付き確率も0に近づくと指標が0に収束するように設計されており、エッジケースにおいてF1を上回り、実験的評価でもより優れたしきい値選定を示した。

ABSTRACT

This article explores the extension of well-known F1 score used for assessing the performance of binary classifiers. We propose the new metric using probabilistic interpretation of precision, recall, specificity, and negative predictive value. We describe its properties and compare it to common metrics. Then we demonstrate its behavior in edge cases of the confusion matrix. Finally, the properties of the metric are tested on binary classifier trained on the real dataset.

研究の動機と目的

• F1が真陰性に依存しないことと、ラベルの入れ替えに対して非対称であるという点を是正すること。
• 適合率P(+|C+)、陽性予測値P(C+|+)、特異度P(C-|-)、負の予測値P(-|C-)の4つの主要な条件付き確率を評価する統一指標を開発すること。
• 有界性[0,1]、どの成分確率が0に近づくと指標が0に収束すること、およびすべての4つの確率が1に近い場合にのみ1に達することを満たす指標を構築すること。
• 特に不均衡データセットにおいて、F1やMCCよりもより頑健な代替指標を提供すること。

提案手法

• P₄を適合率、再現率、特異度、および負の予測値（NPV）の調和平均として定義する。
• P₄が3つの核心的性質を満たすように保証する：[0,1]の有界性、どの成分確率が0の場合に指標が0に収束すること、およびすべての4つの確率が1に等しい場合にのみ1に達すること。
• 交差表から導出される条件付き確率に基づく分類性能の確率的解釈を用いる。
• MCCとP₄、MCCとF1の間で、さまざまな確率しきい値における受信者操作特性（ROC）に類似した曲線を用いてP₄をF1やMCCと比較する。
• 実世界の二値分類器（ガウスカーネルを用いたSVM）にこの指標を適用し、しきい値選定と頑健性を評価する。
• 調和平均の可換性および交差表変換の性質を用いて、P₄がラベルの入れ替えに対して対称であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 二値分類において、すべての4つの主要な条件付き確率を評価できる単一の指標を構築できるか？
• RQ2 どの成分確率が0に近づくと指標が0に収束するような、対称的かつ[0,1]に有界な指標は存在するか？
• RQ3 エッジケースにおいて、P₄はF1やMCCと比べてしきい値選定と頑健性に優れているか？
• RQ4 特異度とNPVを組み込むことでP₄はF1を改善し、より信頼性の高い性能評価を可能にするか？

主な発見

• P₄はラベルの入れ替えに対して対称であり、F1の主要な限界を解消した。
• P₄は4つの条件付き確率のいずれかが0に近づくと0に収束し、どのクラスに対しても性能が著しく低下していることを反映する。
• 実験的評価では、P₄は最適なしきい値τ = 0.52を特定したが、F1はτ = 0.45を示しており、真陰性および負の予測値の成分に対する感度が向上していることが示された。
• MCC vs. P₄空間におけるP₄曲線の開口角は、F1よりも小さいため、より保守的かつバランスの取れた性能トレードオフを示している。
• P₄は他の合成指標と比較してMCCに近い挙動と確率的解釈を持つが、[0,1]スケールを維持しており、より解釈可能である。