[论文解读] Bad practices in evaluation methodology relevant to class-imbalanced problems

Jan Brabec, Lukáš Machlica|arXiv (Cornell University)|Dec 4, 2018

Imbalanced Data Classification Techniques被引用 8

一句话总结

本文识别并批判了在评估类别不平衡问题的机器学习模型时广泛存在的不良实践，强调准确率、标准AUC以及不当采样的测试集会导致性能评估过于乐观且具有误导性。本文主张使用精确率-召回率曲线、调整后的精确率以及特定区域的AUC，以更真实地反映实际部署条件。

ABSTRACT

For research to go in the right direction, it is essential to be able to compare and quantify performance of different algorithms focused on the same problem. Choosing a suitable evaluation metric requires deep understanding of the pursued task along with all of its characteristics. We argue that in the case of applied machine learning, proper evaluation metric is the basic building block that should be in the spotlight and put under thorough examination. Here, we address tasks with class imbalance, in which the class of interest is the one with much lower number of samples. We encountered non-insignificant amount of recent papers, in which improper evaluation methods are used, borrowed mainly from the field of balanced problems. Such bad practices may heavily bias the results in favour of inappropriate algorithms and give false expectations of the state of the field.

研究动机与目标

• 强调近期涉及类别不平衡数据集的机器学习论文中存在缺陷的评估实践的普遍性。
• 展示诸如准确率和标准AUC等常见指标如何因类别不平衡和测试集采样不当而产生误导。
• 主张在同行评审中必须严格审查评估方法，以确保模型性能比较的有效性及对实际性能的合理预期。
• 提出实用且有原则的替代方案，如调整后的精确率和感兴趣区域的AUC，以实现更准确、更真实的现实世界部署性能评估。

提出的方法

• 建议在正类为关注重点且误报代价高昂时使用精确率-召回率（PR）曲线，而非ROC曲线，因为PR曲线更能反映终端用户关心的权衡关系。
• 提出一种调整后的精确率公式，以校正测试集类别先验与真实世界类别先验之间的差异：adjusted_precision = (p_real/p_test * TP) / (p_real/p_test * TP + (1-p_real)/(1-p_test) * FP)。
• 建议仅在定义好的感兴趣区域内计算AUC——尤其在高度不平衡的情境下，当误报率在实际应用中具有相关性时（例如，在入侵检测中FPR ≤ 10⁻⁴）。
• 主张避免在测试集中对多数类进行下采样，以保持真实的类别分布，防止精确率估计过于乐观。
• 强调报告真实类别先验的重要性，并讨论其对性能指标的影响，特别是在医学诊断或网络安全等应用中。

实验结果

研究问题

• RQ1 为何准确率是评估类别不平衡数据集上模型性能的差劲指标？使用它的后果是什么？

主要发现

• 在对517篇类别不平衡分类论文的调查中，38%的论文尽管已知数据存在不平衡，仍使用准确率作为评估指标，导致性能声明具有误导性。
• 若模型的准确率低于类别不平衡比率（例如，在1:100不平衡数据上准确率为97%），则其性能将被仅预测多数类的简单多数类分类器所超越。
• 使用下采样后的测试集会导致精确率估计过于乐观，因为相对于真实世界条件，误报数量被低估。
• 在完整ROC曲线上计算的标准AUC可能被无关区域主导——例如，99.99%的面积可能位于FPR > 10⁻³的区域，这在高度不平衡的领域（如网络入侵检测）中不切实际。
• 调整后的精确率（考虑真实世界类别先验）能提供更真实的模型性能估计，当测试集先验与真实世界先验不一致时，应予以报告。
• 仅关注部署中相关FPR范围（如FPR ≤ 10⁻⁴）的区域特定AUC计算，可避免误导性比较，并更好地反映实际可用性。