[論文レビュー] Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation

David Powers|arXiv (Cornell University)|Oct 11, 2020

Rough Sets and Fuzzy Logic参考文献 24被引用数 4,427

ひとこと要約

この論文は、一般的な評価指標（precision, recall, F-measure, Rand accuracy）が偏りを持つと主張し、informedness、markedness、およびそれらの相関と有意性への関係を含む拡張を、多クラス評価への適用を含めて導入する。

ABSTRACT

Commonly used evaluation measures including Recall, Precision, F-Measure and Rand Accuracy are biased and should not be used without clear understanding of the biases, and corresponding identification of chance or base case levels of the statistic. Using these measures a system that performs worse in the objective sense of Informedness, can appear to perform better under any of these commonly used measures. We discuss several concepts and measures that reflect the probability that prediction is informed versus chance. Informedness and introduce Markedness as a dual measure for the probability that prediction is marked versus chance. Finally we demonstrate elegant connections between the concepts of Informedness, Markedness, Correlation and Significance as well as their intuitive relationships with Recall and Precision, and outline the extension from the dichotomous case to the general multi-class case.

研究の動機と目的

• 一般的に使用される評価指標（precision, recall, F-measure, Rand accuracy）の偏りを強調する。
• bias-aware評価指標としてinformednessとmarkednessを導入する。
• informedness、markedness、相関、有意性の間の関係を説明する。
• これらの概念がrecallとprecisionにどのように関連するかを示す。
• 二値問題から多クラス問題へのフレームワークの拡張を概説する。

提案手法

• informednessを、情報あり予測と偶然の確率として定義・動機づける。
• markednessを、予測がmarkedである確率を偶然と比較する双対指標として導入する。
• informedness、markedness、相関、有意性の数学的関係を探る。
• 従来の指標（recall、precisionなど）とこれらの指標の直感的な関連を説明する。
• 二値評価から多クラス評価への拡張戦略を概説する。

実験結果

リサーチクエスチョン

• RQ1 一般的な評価指標は予測性能の評価にどのような偏りを生じさせるか。
• RQ2 informednessとmarkednessとは何であり、どのように確率的に偶然対比で予測品質を定量化するか。
• RQ3 informedness、markedness、相関、有意性は数学的にどのように結びついているか。
• RQ4 二値から多クラス評価へどのように Framework を拡張できるか。

主な発見

• Informednessとmarkednessは、偶然に対する予測品質を確率的に評価する。
• informedness、markedness、相関、有意性の間には洗練された関係がある。
• これらの概念はrecallとprecisionへの直感的な関連を提供する。
• この Frameworkは、二値ケースから多クラス設定へ拡張可能である。