[论文解读] Metrics for Multi-Class Classification: an Overview

Margherita Grandini, E. Bagli+1 more|arXiv (Cornell University)|Aug 13, 2020

Machine Learning in Bioinformatics参考文献 9被引用 66

一句话总结

本白皮书综述多类分类性能评估指标，详细介绍它们的定义、优点、缺点以及在模型评估与开发中的使用场景。

ABSTRACT

Classification tasks in machine learning involving more than two classes are known by the name of "multi-class classification". Performance indicators are very useful when the aim is to evaluate and compare different classification models or machine learning techniques. Many metrics come in handy to test the ability of a multi-class classifier. Those metrics turn out to be useful at different stage of the development process, e.g. comparing the performance of two different models or analysing the behaviour of the same model by tuning different parameters. In this white paper we review a list of the most promising multi-class metrics, we highlight their advantages and disadvantages and show their possible usages during the development of a classification model.

研究动机与目标

• 回顾一组有前景的多类评估指标。
• 突出每个指标的优点和缺点。
• 展示在分类模型开发和调优过程中如何使用这些指标。
• 解释类别平衡如何影响指标选择和解释。

提出的方法

• 将讨论以基于混淆矩阵的指标及其扩展为基础。
• 呈现并定义 Accuracy、Balanced Accuracy，以及 Balanced Accuracy Weighted。
• 解释在二分类和多分类设置中的 F1-Score，包括 Macro 和 Micro 变体。
• 引入 Cross-Entropy 作为一种基于分布的评估量。
• 讨论基于独立性的指标（Matthews Correlation Coefficient 与 Cohen’s Kappa）及其多类扩展。
• 提供实用的解释、优缺点以及指标选择的指南。

实验结果

研究问题

• RQ1 用于评估多类分类器的关键指标有哪些，它们在解释上有何不同？
• RQ2 宏观平均与微观平均如何影响多类性能的评估，尤其在类别不平衡的情况下？
• RQ3 何时更偏好使用 MCC 和 Cohen’s Kappa 等替代指标，而非标准的 accuracy 或 F1 分数？
• RQ4 Cross-Entropy 如何与分类性能相关，以及在评估中的局限性？

主要发现

• Accuracy 是一个数据集级别的度量，统计正确分类和错误分类的单位。
• Balanced Accuracy 对每个类别的召回进行平均，缓解类别不平衡的影响。
• Balanced Accuracy Weighted 融合类别频率以平衡各类别召回。
• F1-Score 通过调和平均将 Precision 和 Recall 结合起来，具有用于多类评估的 Macro 和 Micro 变体。
• Macro F1 将所有类别视为同等重要，而 Micro F1 与整体 Accuracy 对齐；二者具有各自不同的解释。
• Cross-Entropy 评估分布相似性，而非决策规则的质量，且计算速度快。
• Matthews Correlation Coefficient 和 Cohen’s Kappa 将相关性/一致性概念扩展到多类，考虑到 TNs 与偶然一致性；它们提供更平衡的评估，在不平衡情境下可能优于简单的 accuracy。