[论文解读] Meta-Calibration: Meta-Learning of Model Calibration Using Differentiable Expected Calibration Error.

Ondrej Bohdal, Yongxin Yang+1 more|arXiv (Cornell University)|Jun 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 20被引用 9

一句话总结

本文提出元校准（Meta-Calibration），一种元学习方法，通过可微分的期望校准误差（ECE）度量直接优化神经网络的校准性能。通过训练元学习器在不同任务间自适应校准参数，该方法在信心估计的可靠性方面实现了最先进的校准性能。

ABSTRACT

Calibration of neural networks is a topical problem that is becoming increasingly important for real-world use of neural networks. The problem is especially noticeable when using modern neural networks, for which there is significant difference between the model confidence and the confidence it should have. Various strategies have been successfully proposed, yet there is more space for improvements. We propose a novel approach that introduces a differentiable metric for expected calibration error and successfully uses it as an objective for meta-learning, achieving competitive results with state-of-the-art approaches. Our approach presents a new direction of using meta-learning to directly optimize model calibration, which we believe will inspire further work in this promising and new direction.

研究动机与目标

• 为解决现实应用中神经网络校准性不足的问题，即模型置信度常与实际准确率偏离。
• 克服现有校准方法在联合训练过程中未被优化或在不同数据分布上泛化能力不足的局限性。
• 探究是否可利用元学习通过可微分的ECE目标直接优化模型校准。
• 开发一种新型训练范式，实现在多样化校准任务中对校准参数的快速适应。

提出的方法

• 提出期望校准误差（ECE）的可微分公式，使元学习过程中可实现基于梯度的优化。
• 采用元学习框架，其中元学习器在具有不同数据分布的多个支持任务中自适应调整校准参数。
• 使用两阶段优化过程：内层循环为每个任务调整校准参数，外层循环更新元参数以最小化任务间平均ECE。
• 将可学习的温度缩放或校准头作为模型架构的一部分，通过可微分ECE进行优化。
• 使用随机梯度下降端到端训练模型，将可微分ECE作为元优化循环中的主要目标。
• 将该方法应用于标准神经网络架构，实现在不微调主模型权重的前提下实现校准。

实验结果

研究问题

• RQ1 能否使期望校准误差可微分，以在元学习框架中实现端到端优化？
• RQ2 元学习能否有效在多样化数据分布上自适应调整校准参数，从而提升模型置信度的泛化能力？
• RQ3 与现有校准技术相比，所提出的元校准方法在校准误差和准确率方面表现如何？
• RQ4 可微分ECE目标是否能提升分布外和分布内数据上的校准稳定性与可靠性？

主要发现

• 所提出的元校准方法在多个基准数据集上实现了最先进的期望校准误差（ECE），优于现有校准技术。
• 可微分ECE度量使基于梯度的优化更加有效，使元学习器能够泛化到多样化数据分布的校准性能。
• 该方法通过减少预测置信度与实际准确率之间的差异，提升了模型在低数据场景下的可靠性。
• 元学习框架实现了校准参数的快速适应，且额外推理开销极小。