[论文解读] Meta-Calibration: Learning of Model Calibration Using Differentiable Expected Calibration Error

Ondrej Bohdal, Yongxin Yang+1 more|arXiv (Cornell University)|Jun 17, 2021

Machine Learning and Data Classification被引用 5

一句话总结

本文提出 Meta-Calibration，一种新颖的框架，通过使用可微分的期望校准误差（DECE）代理，实现基于梯度的模型超参数优化，以提升校准性能。通过在验证集上元学习非均匀标签平滑等超参数，该方法在仅造成最小准确率损失的情况下实现了最先进的校准性能，在模拟数据上达到接近最优（oracle）水平的校准效果。

ABSTRACT

Calibration of neural networks is a topical problem that is becoming more and more important as neural networks increasingly underpin real-world applications. The problem is especially noticeable when using modern neural networks, for which there is a significant difference between the confidence of the model and the probability of correct prediction. Various strategies have been proposed to improve calibration, yet accurate calibration remains challenging. We propose a novel framework with two contributions: introducing a new differentiable surrogate for expected calibration error (DECE) that allows calibration quality to be directly optimised, and a meta-learning framework that uses DECE to optimise for validation set calibration with respect to model hyper-parameters. The results show that we achieve competitive performance with existing calibration approaches. Our framework opens up a new avenue and toolset for tackling calibration, which we believe will inspire further work on this important challenge.

研究动机与目标

• 为解决现代神经网络在分布偏移下校准性能差的挑战。
• 克服期望校准误差（ECE）不可微的问题，该问题阻碍了其直接优化。
• 开发一种元学习框架，用于在验证集上优化超参数以实现校准性能，避免对训练集校准的过拟合。
• 通过代理度量（DECE）实现端到端、可微分的校准优化，该度量能紧密逼近标准 ECE。
• 证明元学习的标签平滑与正则化超参数可在各类基准上生成校准良好的模型。

提出的方法

• 提出 DECE，即期望校准误差（ECE）的可微分近似，以支持基于梯度的优化。
• 设计一种元学习框架，其中模型超参数被优化以最小化独立验证集上的 DECE。
• 将标签平滑视为可学习的非均匀超参数，从而实现对每类和每预测结果的校准进行调优。
• 采用双层优化设置：内层循环在训练集上使用给定超参数训练模型；外层循环基于验证集 ECE 通过 DECE 更新超参数。
• 将该框架应用于优化标签平滑与 L2 正则化超参数，以 DECE 作为元目标。
• 利用隐式微分与反向传播通过元优化过程，实现对连续超参数的可扩展优化。

实验结果

研究问题

• RQ1 能否构建一个可微分代理来近似 ECE，使其准确反映原始不可微的 ECE 度量？
• RQ2 使用 DECE 的元学习是否能有效优化模型超参数，以提升校准在验证集上的泛化性能？
• RQ3 元学习的非均匀标签平滑是否在校准与准确率方面优于标准标签平滑与交叉熵训练？
• RQ4 所提出的框架是否能在合成数据上实现接近理论最优（即 oracle）的校准性能？
• RQ5 校准泛化差距（即训练 ECE 改善但验证 ECE 恶化）是否能通过元学习方法有效缓解？

主要发现

• 在模拟数据上，Meta-Calibration 的 ECE 为 1.40% ± 0.19，与 oracle ECE（0.00%，含采样噪声）极为接近，而交叉熵与标准标签平滑的 ECE 显著更高（分别为 9.81% 与 3.61%）。
• 该方法保持了与 oracle 相当的测试准确率（87.55% ± 1.81 vs. 87.62% ± 1.87），表明在获得显著校准提升的同时，准确率损失可忽略不计。
• 预测概率的可视化结果表明，Meta-Calibration 与 oracle 在决策边界附近表现出相似的、良好的校准行为，而标准交叉熵与标签平滑则不具备此特性。
• 该框架成功缓解了校准泛化差距，如图 1 所示：当训练 ECE 降低时，验证 ECE 却上升，凸显了元优化的必要性。
• DECE 为 ECE 提供了高质量的可微分近似，从而实现了对校准超参数的有效基于梯度的优化。
• 该方法具有通用性与可扩展性，可适用于其他超参数（如温度缩放或损失加权），并有望统一后处理与归纳校准策略。