[论文解读] Improving Calibration through the Relationship with Adversarial Robustness

Yao Qin, Xuezhi Wang+2 more|arXiv (Cornell University)|Jun 29, 2020

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文提出 AR-AdaLS，一种通过基于每个样本的对抗鲁棒性自适应平滑训练标签来提升模型校准性的方法。通过识别出对抗上不鲁棒的输入更可能产生校准误差，AR-AdaLS 对这些脆弱样本施加更强的标签平滑，从而在不增加推理延迟的前提下显著提升校准性能，尤其在分布外数据上表现更优，且具有更高的稳定性。

ABSTRACT

Neural networks lack adversarial robustness, i.e., they are vulnerable to adversarial examples that through small perturbations to inputs cause incorrect predictions. Further, trust is undermined when models give miscalibrated predictions, i.e., the predicted probability is not a good indicator of how much we should trust our model. In this paper, we study the connection between adversarial robustness and calibration and find that the inputs for which the model is sensitive to small perturbations (are easily attacked) are more likely to have poorly calibrated predictions. Based on this insight, we examine if calibration can be improved by addressing those adversarially unrobust inputs. To this end, we propose Adversarial Robustness based Adaptive Label Smoothing (AR-AdaLS) that integrates the correlations of adversarial robustness and calibration into training by adaptively softening labels for an example based on how easily it can be attacked by an adversary. We find that our method, taking the adversarial robustness of the in-distribution data into consideration, leads to better calibration over the model even under distributional shifts. In addition, AR-AdaLS can also be applied to an ensemble model to further improve model calibration.

研究动机与目标

• 探究对抗鲁棒性与模型校准之间的关系，特别是不鲁棒输入是否更可能产生校准误差。
• 通过根据训练样本的对抗鲁棒性差异提供不同的监督信号，改进模型校准性。
• 开发一种可扩展且推理高效的校准方法，无需增加延迟。
• 将该方法扩展至集成模型，以在分布外数据上进一步提升校准性能。
• 评估对抗鲁棒性估计精度对校准性能的影响。

提出的方法

• AR-AdaLS 根据每个输入的对抗鲁棒性自适应地软化训练标签，鲁棒性越强的样本获得的平滑程度越低。
• 对抗鲁棒性通过使模型被欺骗所需的扰动幅度来衡量，并用于将输入划分为鲁棒性子集。
• 在每个子集中应用标签平滑，脆弱性越高则平滑程度越大，以降低模型的过度自信。
• 该方法使用预计算或实时计算的对抗鲁棒性估计，实时计算版本性能更优但计算成本更高。
• 通过 'Ensemble 的 AR-AdaLS' 将方法扩展至集成模型，对集成中的每个基模型应用自适应平滑。
• 该方法将对抗鲁棒性作为不确定性的代理，从而提升校准性与稳定性。

实验结果

研究问题

• RQ1 在不同数据集和架构上，对抗鲁棒性与模型校准之间是否存在显著相关性？
• RQ2 能否通过基于训练样本对抗鲁棒性的自适应标签平滑来实现校准性能的提升？
• RQ3 对抗鲁棒性估计的精度如何影响 AR-AdaLS 的校准性能？
• RQ4 与标准标签平滑和模型集成相比，AR-AdaLS 是否在分布外数据上表现更优的校准性能？
• RQ5 当应用于深度集成模型时，AR-AdaLS 是否能进一步提升校准性能？

主要发现

• 对抗上不鲁棒的输入显著更可能产生校准误差与不稳定性，表现为更高的 ECE 和预测方差。
• 在 CIFAR-100 上，AR-AdaLS 将 ECE 从原始模型的 6.1 降低至 2.3，cECE 从 18.2 降低至 13.2（在损坏数据上），优于标准标签平滑与温度缩放。
• 使用实时计算的对抗鲁棒性估计优于预计算版本，cECE 在消融实验中降至 13.2（预计算为 14.2）。
• 当使用 10 个鲁棒性子集时，AR-AdaLS 表现稳定，且在 R=10 之后性能提升微乎其微，表明对子集数量不敏感。
• AR-AdaLS 降低了独立运行之间的预测方差，提升了模型在实际部署中的稳定性。
• 当应用于集成模型时，Ensemble 的 AR-AdaLS 进一步提升了校准性能，尤其在分布外数据上表现更优。