[论文解读] Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation

Aurick Zhou, Sergey Levine|arXiv (Cornell University)|Nov 5, 2020

Gaussian Processes and Bayesian Inference参考文献 35被引用 5

一句话总结

该论文提出了一种可扩展的近似条件归一化最大似然（ACNML）方法，用于在分布偏移下对深度神经网络实现可靠的不确定性估计。通过使用近似贝叶斯推断来近似最小最大最优的CNML分布，ACNML在分布外输入上的校准性能优于先前方法，同时保持了大规模模型的计算可行性。

ABSTRACT

While deep neural networks provide good performance for a range of challenging tasks, calibration and uncertainty estimation remain major challenges, especially under distribution shift. In this paper, we propose the amortized conditional normalized maximum likelihood (ACNML) method as a scalable general-purpose approach for uncertainty estimation, calibration, and out-of-distribution robustness with deep networks. Our algorithm builds on the conditional normalized maximum likelihood (CNML) coding scheme, which has minimax optimal properties according to the minimum description length principle, but is computationally intractable to evaluate exactly for all but the simplest of model classes. We propose to use approximate Bayesian inference technqiues to produce a tractable approximation to the CNML distribution. Our approach can be combined with any approximate inference algorithm that provides tractable posterior densities over model parameters. We demonstrate that ACNML compares favorably to a number of prior techniques for uncertainty estimation in terms of calibration on out-of-distribution inputs.

研究动机与目标

• 为解决深度学习中在分布偏移下可靠不确定性估计的关键挑战。
• 开发一种实用方法，保留条件归一化最大似然（CNML）框架的理论最小最大最优性。
• 通过使用近似贝叶斯推断来近似不可处理的CNML计算，实现在深度网络中的可扩展不确定性估计。
• 改善模型在分布外输入上的校准性能，降低错误预测中的过度自信。

提出的方法

• ACNML通过用模型参数的近似后验分布替代完整训练集，来近似不可处理的CNML预测分布。
• 它使用可处理的后验分布（如SWAG或KFAC-Laplace）来表示不确定性，从而实现高效推理。
• 对于每个测试输入，ACNML通过在标签特定的模型更新上进行归一化，计算预测分布，其中每个模型均基于测试输入和近似后验进行条件化。
• 该方法利用最小描述长度（MDL）原则，通过一种惩罚过度自信的编码方案，确保最小最大后悔最优行为。
• ACNML兼容任何能提供参数上可处理后验密度的近似贝叶斯推断方法。
• 该方法通过学习CNML分布的全局近似，实现了对每个测试输入重新训练模型成本的摊销。

实验结果

研究问题

• RQ1 对CNML分布的可处理近似是否能在分布外输入上提供优于现有贝叶斯与非贝叶斯方法的不确定性校准？
• RQ2 在分布偏移严重程度增加的情况下，ACNML在校准性和可靠性方面表现如何？
• RQ3 能否有效利用近似贝叶斯推断来摊销CNML的计算成本，同时保持其理论保证？
• RQ4 ACNML在推理速度和准确性方面与朴素CNML及标准深度学习推理相比如何？

主要发现

• 与MAP、SWA、SWAG-D和KFAC-Laplace相比，ACNML在分布外输入上的校准性能显著更优，其置信度估计更加保守且可靠。
• 在严重损坏情况下，ACNML变体的期望校准误差（ECE）显著更低，Brier得分也优于对比方法。
• ACNML比朴素CNML快两个多数量级（例如，在MNIST MLP上每输入0.08秒 vs. 13.83秒），使其适用于实际部署。
• 尽管更加保守，ACNML在分布内CIFAR-10测试集上仍保持了具有竞争力的准确率和Brier得分，优于过度自信的基线方法。
• 该方法的计算复杂度随类别数线性增长，但与数据集大小无关，从而实现了对大模型的高效推理。
• ACNML的置信度估计能可靠地在分布外输入上指示低置信度，从而在高风险应用中实现安全的拒绝预测。