[论文解读] Attributing AUC-ROC to Analyze Binary Classifier Performance

Arya Tafvizi, Besim Avci+1 more|arXiv (Cornell University)|May 24, 2022

Imbalanced Data Classification Techniques被引用 7

一句话总结

本文提出一种新颖的归因方法，将AUC-ROC分解为单个样本及样本对的贡献，实现对模型性能的可解释性分割。通过将AUC-ROC视为样本对上的线性函数，该方法识别出模型难以区分正负样本的数据子集，揭示了模型的鲁棒性问题与改进空间——尤其在分布偏移或训练目标冲突的情况下。

ABSTRACT

Area Under the Receiver Operating Characteristic Curve (AUC-ROC) is a popular evaluation metric for binary classifiers. In this paper, we discuss techniques to segment the AUC-ROC along human-interpretable dimensions. AUC-ROC is not an additive/linear function over the data samples, therefore such segmenting the overall AUC-ROC is different from tabulating the AUC-ROC of data segments. To segment the overall AUC-ROC, we must first solve an \emph{attribution} problem to identify credit for individual examples. We observe that AUC-ROC, though non-linear over examples, is linear over \emph{pairs} of examples. This observation leads to a simple, efficient attribution technique for examples (example attributions), and for pairs of examples (pair attributions). We automatically slice these attributions using decision trees by making the tree predict the attributions; we use the notion of honest estimates along with a t-test to mitigate false discovery. Our experiments with the method show that an inferior model can outperform a superior model (trained to optimize a different training objective) on the inferior model's own training objective, a manifestation of Goodhart's Law. In contrast, AUC attributions enable a reasonable comparison. Example attributions can be used to slice this comparison. Pair attributions are used to categorize pairs of items -- one positively labeled and one negatively -- that the model has trouble separating. These categories identify the decision boundary of the classifier and the headroom to improve AUC.

研究动机与目标

• 为解决在训练目标与部署场景分离时（尤其是在分布偏移情况下）评估二分类器的挑战。
• 实现对数据子群体中AUC-ROC性能的可解释性分割，克服标准分组AUC报告的局限性。
• 提供一种系统性方法，用于比较优化不同目标的模型，避免因Goodhart定律导致的误导性结论。
• 识别出模型性能欠佳的具体数据子集与样本对，指导有针对性的数据收集与模型改进。

提出的方法

• 将AUC-ROC视为样本对（一个正样本，一个负样本）上的线性函数，从而实现对AUC贡献的归因。
• 将样本归因定义为包含该样本的所有样本对归因之和，支持按子集的性能分析。
• 使用决策树自动根据数据特征对归因进行分割，结合诚实估计与t检验以减少误报。
• 将样本对归因计算为每个子集内错误排序对的数量（1 - AUC），捕捉模型误差的改进空间。
• 对10,000个正样本与负样本应用采样与笛卡尔积配对，实现方法的高效扩展。
• 使用浅层决策树预测归因分数，实现对问题子集或易分类子集的自动化发现。

实验结果

研究问题

• RQ1 当AUC-ROC在单个样本上非线性时，如何在数据子群体中实现其有意义的分割？
• RQ2 对单个样本及样本对的归因是否能揭示标准分组AUC未捕捉到的性能差异？
• RQ3 当在AUC-ROC上评估时，优化不同目标（如交叉熵损失 vs. Gini）的模型在性能排名上在多大程度上产生误导性结论？
• RQ4 哪些数据子集对AUC改进空间（即潜在改进空间）贡献最大，且如何实现其自动发现？
• RQ5 样本对归因能否识别出特定的、难以区分的样本对，从而揭示决策边界的薄弱环节？

主要发现

• 该方法揭示，即使在评估其自身训练目标时，一个优化交叉熵损失的模型在AUC-ROC上仍可能优于随机森林，体现了Goodhart定律的影响。
• 在Census数据集中，双方均为'Husband'的子集仅占所有样本对的2%，却对AUC改进空间贡献显著（0.76 AUC vs. 整体0.88），表明存在巨大改进潜力。
• 在Lending Club数据集中，'已违约'的36个月贷款且FICO评分高的子集AUC接近零（0.56），占所有样本对的9%，其错误排序对数量是仅占1%样本对且AUC接近零的子集的四倍。
• 该方法成功识别出模型在区分高FICO评分违约者与低FICO评分已结清贷款方面存在显著困难，揭示了具体的失败模式。
• 样本对归因显示，模型的大部分错误集中在负样本为'Husband'的样本对上，表明该子集存在系统性偏差。
• 使用诚实估计与t检验的决策树实现的自动化分割，即使在高维特征空间下，也能有效识别高影响子集而不过拟合。