[論文レビュー] Evaluation of Performance Measures for Classifiers Comparison

Vincent Labatut, Hocine Cherifi|arXiv (Cornell University)|Dec 18, 2011

Imbalanced Data Classification Techniques参考文献 19被引用数 10

ひとこと要約

本稿は、識別プロットと理論的分析を用いて、機械学習分類器を比較するための性能指標の挙動を評価する。その結果、全体の正解率とマージナルレートが、他の指標がしばしば一貫性のない順位付けや解釈の問題を引き起こすのとは対照的に、分類器比較において最も適切で信頼性の高い指標であることが判明した。

ABSTRACT

The selection of the best classification algorithm for a given dataset is a very widespread problem, occuring each time one has to choose a classifier to solve a real-world problem. It is also a complex task with many important methodological decisions to make. Among those, one of the most crucial is the choice of an appropriate measure in order to properly assess the classification performance and rank the algorithms. In this article, we focus on this specific task. We present the most popular measures and compare their behavior through discrimination plots. We then discuss their properties from a more theoretical perspective. It turns out several of them are equivalent for classifiers comparison purposes. Futhermore. they can also lead to interpretation problems. Among the numerous measures proposed over the years, it appears that the classical overall success rate and marginal rates are the more suitable for classifier comparison task.

研究の動機と目的

• 機械学習分類器を比較する際の最も適切な性能指標を選択するという重要な課題に取り組むこと。
• 分類器比較のタスクにおいて広く使われている性能指標の挙動を評価すること。
• 異なる分類器間で一貫性があり解釈可能な順位付けを提供する指標を特定すること。
• 性能指標の理論的性質を分析し、比較的評価における適切さを評価すること。
• 実世界の応用において誤解を招く可能性を避ける、堅牢で信頼性の高い指標の選択を実務家にガイドすること。

提案手法

• 著者は、分類器間の順位付けの一貫性を可視化するために識別プロットを用いて、一般的な性能指標の挙動を分析する。
• 各指標の数学的・統計的性質について理論的検討を行う。
• 複数のデータセットと分類器タイプにおいて、正解率、F1スコア、AUC、適合率、再現率、特異度などの指標を比較する。
• 異なる指標によって引き起こされる分類器順位の同等性と不整合性を特定することに焦点を当てる。
• 異なるクラス分布やモデルの挙動の下での各指標の頑健性と解釈可能性を評価する。
• 実世界のデータセットからの実験結果を用いて理論的発見を検証し、実用的推奨事項を支援する。

実験結果

リサーチクエスチョン

• RQ1 どの性能指標が多様なデータセットとモデルにおいて、常に同じ順序で分類器を順位付けできるか？
• RQ2 異なるクラス不均衡やモデル特性の下で、さまざまな性能指標はどのように挙動するか？
• RQ3 F1スコアやAUCといった一般的に使われる指標が、分類器比較においてどれほど同等または相互に置き換え可能か？
• RQ4 一般的な性能指標の分類器評価における理論的および実用的限界は何か？
• RQ5 分類器性能を比較する際、どの指標が最も頑健で、誤解を招きにくいか？

主な発見

• 全体の正解率（正解率）とマージナルレートが、分類器比較において最も適切で信頼性の高い指標である。
• F1スコアやAUCといった、よく使われる指標は特定の条件下では、分類器の順位付け能力において同等であることが判明した。
• 多くの性能指標は、特にクラス不均衡の下で、一貫性のないまたは誤解を招く分類器順位付けを引き起こす。
• F1スコアや幾何平均といった指標では、しばしば直感に反する結果が生じ、解釈の問題が頻発する。
• 本研究は、正解率とマージナルレートが、多様な実験設定において安定的で解釈可能かつ一貫性のある順位付けを提供することを示した。
• 理論的分析により、正解率とマージナルレートが分布のシフトやモデル固有の挙動に対して感受性が低いことが確認された。