[論文レビュー] Accuracy Measures for the Comparison of Classifiers

Vincent Labatut, Hocine Cherifi|arXiv (Cornell University)|Jul 16, 2012

Imbalanced Data Classification Techniques参考文献 11被引用数 13

ひとこと要約

この論文は、機械学習分類器を比較するためのさまざまな正確性指標を評価し、指標の多様化にもかかわらず、解釈可能性と信頼性の観点から、古典的な全体的正答率と周辺率が最も適切であると主張している。著者らは、多くの一般的に使われる指標が同等であるか、誤解を招くか、分類器の順位付けに不適切であることを実証し、性能評価における単純さと一貫性を提唱している。

ABSTRACT

The selection of the best classification algorithm for a given dataset is a very widespread problem. It is also a complex one, in the sense it requires to make several important methodological choices. Among them, in this work we focus on the measure used to assess the classification performance and rank the algorithms. We present the most popular measures and discuss their properties. Despite the numerous measures proposed over the years, many of them turn out to be equivalent in this specific case, to have interpretation problems, or to be unsuitable for our purpose. Consequently, classic overall success rate or marginal rates should be preferred for this specific task.

研究の動機と目的

• 与えられたデータセットに対して最適な分類アルゴリズムを選択するという課題に対処すること。特に、性能評価指標の選択に焦点を当てる。
• 分類器の順位付けに適した広く使われている正確性指標の適切さと解釈可能性を評価すること。
• 重複しているか、誤解を招くか、分類器比較に不適切な指標を特定・排除すること。
• この文脈において、古典的な全体的正答率と周辺率を推奨すること。
• 機械学習実験における、強固で意味のある性能指標の選定に関する方法論的ガイダンスを提供すること。

提案手法

• 分類器評価で最も一般的に使われる正確性指標の体系的レビューと分析。
• 各指標の性質、特に解釈可能性、クラス不均衡への感受性、統計的頑健性の評価。
• 一般的に使われる指標同士の同等性の特定。多くの指標が数学的または行動的に同等であることを示している。
• 特定の分類器順位付けのタスクにおける解釈の問題や、一部の指標の不適切さの評価。
• 実験的推論と理論的分析を用いて、異なる性能指標の信頼性と明確さを比較。
• 実用的な分類器比較において、単純さ、一貫性、解釈の明確さに基づいて指標を優先順位付けすること。

実験結果

リサーチクエスチョン

• RQ1 どの正確性指標が異なる分類器の性能を比較するのに最も適しているか？
• RQ2 一般的に使われる指標は、分類器順位付けにおいて解釈可能性と信頼性の観点からどのように比較できるか？
• RQ3 分類器評価において避けるべき重複しているか、同等の指標は存在するか？
• RQ4 なぜ一部の広く使われている指標が分類器比較において誤った結論を導くのか？
• RQ5 実際の分類器順位付けのための性能指標選定には、どのような基準を用いるべきか？

主な発見

• 広く使われている多くの正確性指標は実務上同等であり、重複した評価作業を生じさせている。
• 多数の指標は解釈の問題を抱えており、信頼できる分類器比較に不適切である。
• F1スコア、G-mean、AUCといった指標は人気が高いが、一貫して優れているわけではなく、順位付けに用いる際に誤解を招く可能性がある。
• 全体的正答率（正確率）と周辺率は、分類器比較において最も信頼性が高く解釈しやすい指標であると判明した。
• 本研究は、分類器順位付けという特定のタスクにおいて、単純な指標を複雑または専門的な指標よりも優先すべきであると結論づけている。
• 著者らは、クラス分布に敏感であるか、実用的状況での解釈が明確でない指標の使用を避けるべきだと提言している。