[论文解读] Accuracy Measures for the Comparison of Classifiers

Vincent Labatut, Hocine Cherifi|arXiv (Cornell University)|Jul 16, 2012

Imbalanced Data Classification Techniques参考文献 11被引用 13

一句话总结

本文评估了用于比较机器学习分类器的各种准确率度量方法，认为尽管度量方法众多，但经典的整体成功率和边际率由于其可解释性和可靠性，仍是最合适的选择。作者证明，许多常用度量方法要么等价，要么具有误导性，或不适用于分类器排序，主张在性能评估中保持简单与一致。

ABSTRACT

The selection of the best classification algorithm for a given dataset is a very widespread problem. It is also a complex one, in the sense it requires to make several important methodological choices. Among them, in this work we focus on the measure used to assess the classification performance and rank the algorithms. We present the most popular measures and discuss their properties. Despite the numerous measures proposed over the years, many of them turn out to be equivalent in this specific case, to have interpretation problems, or to be unsuitable for our purpose. Consequently, classic overall success rate or marginal rates should be preferred for this specific task.

研究动机与目标

• 为解决为给定数据集选择最佳分类算法的挑战，重点关注性能评估度量的选择。
• 评估广泛使用的准确率度量在排序分类器方面的适用性和可解释性。
• 识别并剔除在分类器比较中冗余、具有误导性或不合适的度量方法。
• 倡导在此背景下使用经典的整体成功率和边际率作为首选度量。
• 为机器学习实验中选择稳健且有意义的性能度量提供方法论指导。

提出的方法

• 系统性回顾和分析分类器评估中最常用的准确率度量方法。
• 评估每种度量的特性，包括可解释性、对类别不平衡的敏感性以及统计稳健性。
• 识别常用度量之间的等价性，表明其中许多在数学上或行为上是等价的。
• 评估某些度量在分类器排序这一特定任务中的解释问题和不适用性。
• 运用实证推理和理论分析，比较不同性能度量的可靠性和清晰度。
• 根据简单性、一致性和解释清晰度对度量进行优先排序，以适用于实际的分类器比较。

实验结果

研究问题

• RQ1 哪些准确率度量最适用于比较不同分类器的性能？
• RQ2 在分类器排序方面，常用度量在可解释性和可靠性方面如何比较？
• RQ3 是否存在应避免在分类器评估中使用的冗余或等价度量？
• RQ4 为何一些广泛使用的度量会导致分类器比较中的误导性结论？
• RQ5 在实践中，应依据哪些标准来选择用于分类器排序的性能度量？

主要发现

• 许多广泛使用的准确率度量在实践中是等价的，导致评估工作冗余。
• 众多度量存在解释问题，使其不适用于可靠的分类器比较。
• 尽管F1得分、G-mean和AUC等度量广受欢迎，但它们并非始终更优，且在用于排序时可能具有误导性。
• 整体成功率（准确率）和边际率被证明是分类器比较中最可靠且最可解释的度量。
• 本研究结论认为，对于分类器排序这一特定任务，应优先选择简单度量，而非复杂或专用度量。
• 作者建议避免使用对类别分布敏感或在实际场景中缺乏清晰解释的度量。