[论文解读] Evaluation of Performance Measures for Classifiers Comparison
本文通过区分度图和理论分析评估了用于比较机器学习分类器的性能度量，发现总体成功率和边际率是最合适且可靠的度量，因为其他度量常导致不一致的排序或解释问题。
The selection of the best classification algorithm for a given dataset is a very widespread problem, occuring each time one has to choose a classifier to solve a real-world problem. It is also a complex task with many important methodological decisions to make. Among those, one of the most crucial is the choice of an appropriate measure in order to properly assess the classification performance and rank the algorithms. In this article, we focus on this specific task. We present the most popular measures and compare their behavior through discrimination plots. We then discuss their properties from a more theoretical perspective. It turns out several of them are equivalent for classifiers comparison purposes. Futhermore. they can also lead to interpretation problems. Among the numerous measures proposed over the years, it appears that the classical overall success rate and marginal rates are the more suitable for classifier comparison task.
研究动机与目标
- 解决选择最适合比较机器学习分类器的性能度量这一关键挑战。
- 评估广泛使用的性能度量在分类器比较任务中的行为。
- 识别在不同分类器中提供一致且可解释排序的度量。
- 分析性能度量的理论属性，以评估其在比较评估中的适用性。
- 指导实践者选择稳健、可靠的度量，避免在实际应用中产生误导性解释。
提出的方法
- 作者使用区分度图分析流行性能度量的行为，以可视化不同分类器之间的排序一致性。
- 他们对每种度量的数学和统计属性进行了理论检查。
- 该研究在多个数据集和分类器类型上比较了准确率、F1-score、AUC、精确率、召回率和特异性等度量。
- 分析重点在于识别由不同度量引起的分类器排序中的等价性和不一致性。
- 作者评估了每种度量在不同类别分布和模型行为下的鲁棒性和可解释性。
- 他们利用真实世界数据集的实证结果验证理论发现，并支持实际建议。
实验结果
研究问题
- RQ1哪些性能度量能在不同数据集和模型中始终以相同顺序对分类器进行排序？
- RQ2在类别不平衡和模型特性变化时，不同性能度量的行为如何？
- RQ3F1-score或AUC等常用度量在分类器比较中在多大程度上是等价或可互换的？
- RQ4流行性能度量在分类器评估中存在哪些理论和实际限制？
- RQ5在比较分类器性能时，哪些度量最稳健且最不易被误解？
主要发现
- 总体成功率（准确率）和边际率是分类器比较中最合适且最可靠的度量。
- 在特定条件下，F1-score和AUC等常用度量在对分类器排序方面表现出等价性。
- 许多性能度量在类别不平衡情况下常导致不一致或误导性的分类器排序。
- F1-score和几何平均等度量常引发解释问题，可能产生反直觉的结果。
- 本研究证明，准确率和边际率在不同实验设置下均能提供稳定、可解释且一致的排序。
- 理论分析证实，准确率和边际率对分布偏移和特定模型行为的敏感性较低。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。