[论文解读] A Call to Reflect on Evaluation Practices for Failure Detection in Image Classification

Paul F. Jaeger, Carsten T. Lüth+2 more|arXiv (Cornell University)|Nov 28, 2022

Adversarial Robustness in Machine Learning被引用 18

一句话总结

本文呼吁建立统一的评估框架，用于图像分类中置信度评分函数（CSFs）的故障检测，揭示了当前在误分类检测、分布外检测等子领域中孤立的评估协议导致评估结果不一致且不完整。作者通过大规模实证研究发现，简单的Softmax响应优于复杂方法，暴露了现有评估实践中的缺陷，并倡导采用全面、标准化的基准测试，以实现机器学习系统更安全的部署。

ABSTRACT

Reliable application of machine learning-based decision systems in the wild is one of the major challenges currently investigated by the field. A large portion of established approaches aims to detect erroneous predictions by means of assigning confidence scores. This confidence may be obtained by either quantifying the model's predictive uncertainty, learning explicit scoring functions, or assessing whether the input is in line with the training distribution. Curiously, while these approaches all state to address the same eventual goal of detecting failures of a classifier upon real-life application, they currently constitute largely separated research fields with individual evaluation protocols, which either exclude a substantial part of relevant methods or ignore large parts of relevant failure sources. In this work, we systematically reveal current pitfalls caused by these inconsistencies and derive requirements for a holistic and realistic evaluation of failure detection. To demonstrate the relevance of this unified perspective, we present a large-scale empirical study for the first time enabling benchmarking confidence scoring functions w.r.t all relevant methods and failure sources. The revelation of a simple softmax response baseline as the overall best performing method underlines the drastic shortcomings of current evaluation in the abundance of publicized research on confidence scoring. Code and trained models are at https://github.com/IML-DKFZ/fd-shifts.

研究动机与目标

• 识别并解决故障检测子领域（如MisD、OoD-D、SC、PUQ）之间评估协议不一致的问题，以阻碍公平比较与进展。
• 证明当前评估实践排除了相关的方法与故障来源，降低了报告结果的实际相关性与可靠性。
• 倡导建立类似鲁棒性基准的统一、全面的评估协议，实现对所有现实故障模式下置信度评分函数（CSFs）的全面评估。
• 通过大规模实证研究提供证据，表明简单基线（如Softmax响应）表现最佳，从而挑战当前研究趋势的有效性。

提出的方法

• 系统分析并比较四个故障检测子领域（误分类检测（MisD）、分布外检测（OoD-D）、选择性分类（SC）和预测不确定性量化（PUQ））中现有的评估协议。
• 提出一个整体性评估框架，将这些分散的协议统一为一个覆盖所有相关故障来源与CSF类型的单一、一致的基准。
• 在CIFAR-10、CIFAR-100和SVHN数据集上，通过标准化的训练与评估协议，对15种CSF在12种分布偏移下进行大规模实证研究。
• 实现并评估包括Softmax响应、马氏距离得分、最大logit得分（MLS）和ConfidNet在内的CSF，采用一致的数据增强与模型选择策略。
• 以AUROC_f为主要指标评估故障检测性能，并通过fail-average-precision与AURC的附加分析确保结果稳健性。
• 对模型选择策略（如最后训练周期与最佳周期选择）及超参数选择进行消融研究，以确保比较的公平性与可复现性。

实验结果

研究问题

• RQ1 为何当前图像分类故障检测的评估协议在不同研究子领域中导致评估结果不一致且不完整？
• RQ2 现有评估协议在多大程度上排除了相关的置信度评分函数（CSFs）与故障来源，从而削弱了实际相关性？
• RQ3 在多种分布偏移与故障模式下，简单基线（如Softmax响应）与复杂、最先进的CSFs相比表现如何？
• RQ4 OoD-D任务的设定存在哪些关键缺陷，使其与真实部署中检测分类故障的目标相背离？
• RQ5 能否设计并验证一个统一的、整体性的评估协议，以实现CSFs的公平、全面且真实的基准测试？

主要发现

• 在所有测试数据集与分布偏移下，Softmax响应基线均优于其他所有置信度评分函数，取得了最高的AUROC_f得分。
• 马氏距离得分与最大logit得分（MLS）表现强劲，但仍逊于简单的Softmax基线。
• 通过训练周期选择（如使用最后一个周期）的模型选择策略，始终优于基于验证指标选择最佳周期的复杂策略。
• 原始ConfidNet配置因验证集过小导致结果高度不稳定，而采用更简单的模型选择策略可提升稳定性与性能。
• 马氏距离得分的评估结果在不同运行间表现出高度变异性，标准差最高达7.86，表明报告结果存在不稳定性。
• OoD-D任务的设定从根本上偏离了故障检测的目标，因其聚焦于分布偏移检测而非误分类检测，导致性能评估产生误导。