[論文レビュー] The MCC-F1 curve: a performance evaluation technique for binary classification

Chang Cao, Davide Chicco+1 more|arXiv (Cornell University)|Jun 17, 2020

Imbalanced Data Classification Techniques参考文献 29被引用数 48

ひとこと要約

本論文は ROC/PR 分析の偏りに対処するため MCC-F1 曲線を導入し、MCC と F1 を曲線と1つの統合指標として組み合わせ、併せて R パッケージを提供する。

ABSTRACT

Many fields use the ROC curve and the PR curve as standard evaluations of binary classification methods. Analysis of ROC and PR, however, often gives misleading and inflated performance evaluations, especially with an imbalanced ground truth. Here, we demonstrate the problems with ROC and PR analysis through simulations, and propose the MCC-F1 curve to address these drawbacks. The MCC-F1 curve combines two informative single-threshold metrics, MCC and the F1 score. The MCC-F1 curve more clearly differentiates good and bad classifiers, even with imbalanced ground truths. We also introduce the MCC-F1 metric, which provides a single value that integrates many aspects of classifier performance across the whole range of classification thresholds. Finally, we provide an R package that plots MCC-F1 curves and calculates related metrics.

研究の動機と目的

• 不均衡な二値分類におけるROCおよびPR曲線の限界を動機づける。
• MCC-F1曲線をより有益な評価ツールとして提案する。
• しきい値を横断して性能を総括する単一の総合的な MCC-F1 指標を導入する。
• 実務的な利用のための付随ソフトウェア実装（Rパッケージ）を提供する。

提案手法

• シミュレーションを通じてROCとPRの欠点を分析し、過大評価された性能を示す。
• しきい値ごとに MCC と F1 を組み合わせたプロットとして MCC-F1 曲線を定義する。
• しきい値範囲全体の性能を要約する単一値の MCC-F1 指標を定義する。
• MCC-F1 曲線を描画し関連指標を計算する R パッケージを開発・公開する。

実験結果

リサーチクエスチョン

• RQ1 不均衡な二値分類の状況において、ROCおよびPR分析は性能を過大評価しますか？
• RQ2 しきい値を横断して良い分類器と悪い分類器をより的確に区別するよう、MCCとF1を曲線に組み合わせることができますか？
• RQ3 MCC-F1曲線はしきい値を横断して分類器の性能を信頼できる単一指標で要約しますか？
• RQ4 実務家が MCC-F1 曲線を計算・描画するための利用しやすいソフトウェアツールはありますか？

主な発見

• 不均衡な設定では ROC/PR 分析が誤解を招く評価を提供する可能性がある。
• 不均衡なケースでは MCC-F1 曲線が ROC/PR よりも分類器をより明確に区別する。
• MCC-F1 指標はしきい値を横断して性能を要約する単一の値を提供する。
• MCC-F1 曲線を描画し関連指標を計算する R パッケージが提供されている。