[论文解读] Calibrated Selective Classification

Adam Fisch, Tommi Jaakkola+1 more|arXiv (Cornell University)|Aug 25, 2022

Machine Learning in Healthcare被引用 5

一句话总结

本文提出选择性校准（selective calibration）框架，通过训练独立的筛选网络来拒绝置信度估计不可靠的样本，从而提升选择性分类中的不确定性校准性能。该方法采用输入扰动的分布鲁棒优化，以增强在分布偏移下的泛化能力，在图像分类与医学分类任务中，相比基于置信度的基线方法，显著降低了选择性校准误差。

ABSTRACT

Selective classification allows models to abstain from making predictions (e.g., say "I don't know") when in doubt in order to obtain better effective accuracy. While typical selective models can be effective at producing more accurate predictions on average, they may still allow for wrong predictions that have high confidence, or skip correct predictions that have low confidence. Providing calibrated uncertainty estimates alongside predictions -- probabilities that correspond to true frequencies -- can be as important as having predictions that are simply accurate on average. However, uncertainty estimates can be unreliable for certain inputs. In this paper, we develop a new approach to selective classification in which we propose a method for rejecting examples with "uncertain" uncertainties. By doing so, we aim to make predictions with {well-calibrated} uncertainty estimates over the distribution of accepted examples, a property we call selective calibration. We present a framework for learning selectively calibrated models, where a separate selector network is trained to improve the selective calibration error of a given base model. In particular, our work focuses on achieving robust calibration, where the model is intentionally designed to be tested on out-of-domain data. We achieve this through a training strategy inspired by distributionally robust optimization, in which we apply simulated input perturbations to the known, in-domain training data. We demonstrate the empirical effectiveness of our approach on multiple image classification and lung cancer risk assessment tasks.

研究动机与目标

• 解决选择性分类模型在拒绝不确定输入时仍可能做出校准不佳预测的局限性。
• 确保模型所作预测不仅准确，且在被接受样本上的不确定性估计也具有良好校准性。
• 开发一种框架，使模型不仅能拒绝低置信度预测，还能拒绝‘不确定性’的置信度估计——即不可靠的置信度估计。
• 通过在分布鲁棒优化下使用扰动的域内数据训练筛选器，提升校准在分布偏移下的鲁棒性。
• 在高风险应用（如医学诊断）中，保持足够的预测覆盖率的同时实现强大的选择性校准。

提出的方法

• 提出两阶段框架：基础模型 f(X) 提供置信度估计，独立的筛选器 g(X) 根据不确定性可靠性决定是否接受或拒绝预测。
• 引入选择性校准作为新的校准属性：对所有 α 属于 f 在被接受样本上的取值范围，有 E[Y | f(X)=α, g(X)=1] = α。
• 基于 S-MMCE（选择性多分类期望校准误差）设计新型训练目标，以优化筛选器网络。
• 通过在域内训练数据上模拟输入扰动，应用分布鲁棒优化，以提升对域外分布的泛化能力。
• 采用扰动族 T（如 AugMix）在训练期间生成多样化且真实的分布偏移，增强鲁棒性。
• 通过置信度拒绝决策的可微松弛实现筛选器的端到端训练，支持基于梯度的优化。

实验结果

研究问题

• RQ1 我们能否设计一种选择性分类系统，确保预测不仅在整体上校准良好，而且在被接受样本子集上也校准良好？
• RQ2 如何提升选择性模型中不确定性估计的可靠性，特别是在基础模型置信度本身校准不佳的情况下？
• RQ3 在域内数据上使用扰动训练的筛选器网络，在多大程度上能泛化到域外分布，同时保持选择性校准？
• RQ4 基于不确定性而非仅置信度来拒绝样本，是否能改善各类别（尤其是罕见或困难样本）的预测覆盖率平衡？
• RQ5 扰动族 T 的选择在多大程度上影响最终选择性分类器的鲁棒性与校准性能？

主要发现

• 在 CIFAR-10-C 的分布偏移设置下，基于 S-MMCE 的筛选器相比基于置信度的基线方法，选择性校准误差 AUC 显著降低（例如，0.028 vs. 0.062）。
• 在 MGH 肺癌风险评估数据集上，该方法在 90% 覆盖率下拒绝的癌症患者（Y=1）数量少于基于置信度的方法，降低了拒绝率的不平衡性。
• 被接受样本中置信度分数的分布与边缘分布高度一致，表明模型在各类别中的行为得到更好保留。
• 消融实验表明，与不使用扰动的训练相比，使用扰动（T）可使选择性校准误差降低超过 50%。
• 即使基础模型 f(X) 也使用 AugMix 扰动进行训练，所提筛选器仍能显著降低选择性校准误差，证明其作为后处理校准工具的有效性。
• 该方法在分布偏移下泛化良好，在域外数据上保持低校准误差，而标准基于置信度的拒绝策略则不具备此特性。