[论文解读] Improving model calibration with accuracy versus uncertainty optimization

Ranganath Krishnan, Omesh Tickoo|arXiv (Cornell University)|Dec 14, 2020

Adversarial Robustness in Machine Learning参考文献 49被引用 60

一句话总结

本文提出 AvUC，一种可微分的准确性与不确定性校准损失，用于训练模型在准确预测时自信、在不准确预测时保持不确定，在分布转移下改进校准，并提供后验 AvUTS 选项。

ABSTRACT

Obtaining reliable and accurate quantification of uncertainty estimates from deep neural networks is important in safety-critical applications. A well-calibrated model should be accurate when it is certain about its prediction and indicate high uncertainty when it is likely to be inaccurate. Uncertainty calibration is a challenging problem as there is no ground truth available for uncertainty estimates. We propose an optimization method that leverages the relationship between accuracy and uncertainty as an anchor for uncertainty calibration. We introduce a differentiable accuracy versus uncertainty calibration (AvUC) loss function that allows a model to learn to provide well-calibrated uncertainties, in addition to improved accuracy. We also demonstrate the same methodology can be extended to post-hoc uncertainty calibration on pretrained models. We illustrate our approach with mean-field stochastic variational inference and compare with state-of-the-art methods. Extensive experiments demonstrate our approach yields better model calibration than existing methods on large-scale image classification tasks under distributional shift.

研究动机与目标

• 动机：在数据集波动下，经过校准的不确定性对安全关键的 AI 系统和稳健决策至关重要。
• 目标：开发一个可微分的 AvUC 损失，将准确性和不确定性联系起来，在不牺牲准确性的前提下改善标定。
• 目标：使预训练模型既能在训练时进行标定（SVI-AvUC），又能进行后验标定（AvUTS）。
• 方法：在带损失校准的推断框架内应用 AvUC，并在大规模图像分类的分布转移场景中进行评估。

提出的方法

• 定义 AvU 类别（AC、AU、IC、IU）以形式化准确性与不确定性之间的关系。
• 引入可微分的 AvU 代理和 AvUC 损失，在训练期间优化 AvU 的效用。
• 将 AvUC 作为损失校准的 ELBO（SVI-AvUC）中的惩罚项，并设定权重超参数 β。
• 提供一种后验标定方法（AvUTS），通过对预训练模型使用温度缩放来优化 AvUC。
• 展示对均场随机变分推断的适用性，并与 Temp scaling、Ensembles、Dropout 等基线进行比较。

实验结果

研究问题

• RQ1 可微分的 AvUC 损失是否能够在分布转移下在不牺牲准确性的前提下获得更好校准的不确定性？
• RQ2 AvUC 是否在大规模数据集上同时改善同分布内和数据集迁移下的标定？
• RQ3 后验 AvUTS 是否与训练时 AvUC 对预训练模型具有竞争力？
• RQ4 AvUC 如何影响分布转移检测以及基于不确定性的评估指标？

主要发现

• SVI-AvUC 在分布转移下实现了比基线更好的模型校准（更低的 ECE 和 UCE），同时保持与集成方法相当的准确性。
• 在 ImageNet 和 CIFAR10 的腐蚀性分布转移下，SVI-AvUC 提升了置信度-准确性关系和不确定性质量，涉及多项指标。
• AvUTS 在后验不确定性标定方面优于基线的 SVI 和原始模型，表现为较低的标定误差。
• 基于 AvUC 的方法通过预测不确定性提升分布转移检测性能，优于若干竞争方法。
• 表格式结果表明，在不同转移强度下，SVI-AvUC 相对于 Temp scaling、Dropout 与 Enlightened Bayesian 基线，在标定和不确定性指标上具有优越性。
• AVUC 方法在分布转移下同时提升了经过校准的置信度和不确定性测量。