[论文解读] Cold Posteriors and Aleatoric Uncertainty

Ben Adlam, Jasper Snoek+1 more|arXiv (Cornell University)|Jul 31, 2020

Gaussian Processes and Bayesian Inference参考文献 18被引用 11

一句话总结

本文通过表明标准先验在MNIST和CIFAR-10等高质量数据集上会引入过度的类噪声不确定性，解释了贝叶斯神经网络中的冷后验效应。通过调节后验（降低温度），模型可减少这种被高估的不确定性，从而提升泛化性能——这实际上等效于在不进行精确贝叶斯推断的情况下，模拟出更合适的先验。

ABSTRACT

Recent work has observed that one can outperform exact inference in Bayesian neural networks by tuning the "temperature" of the posterior on a validation set (the "cold posterior" effect). To help interpret this phenomenon, we argue that commonly used priors in Bayesian neural networks can significantly overestimate the aleatoric uncertainty in the labels on many classification datasets. This problem is particularly pronounced in academic benchmarks like MNIST or CIFAR, for which the quality of the labels is high. For the special case of Gaussian process regression, any positive temperature corresponds to a valid posterior under a modified prior, and tuning this temperature is directly analogous to empirical Bayes. On classification tasks, there is no direct equivalence between modifying the prior and tuning the temperature, however reducing the temperature can lead to models which better reflect our belief that one gains little information by relabeling existing examples in the training set. Therefore although cold posteriors do not always correspond to an exact inference procedure, we believe they may often better reflect our true prior beliefs.

研究动机与目标

• 调查为何在贝叶斯神经网络中，冷后验（温度T < 1的调节推理）会优于精确贝叶斯推断。
• 分析贝叶斯神经网络中常用先验在标准基准数据集上是否高估了类噪声不确定性。
• 探讨后验调节与先验设定之间的联系，特别是在高斯过程模型背景下的关系。
• 评估冷后验效应是否可被解释为对高估标签不确定性的错误先验的校正。
• 证明调节可同时降低认知不确定性和类噪声不确定性，使后验信念更贴近真实世界数据特征。

提出的方法

• 使用高斯过程分类作为可处理的模型，以分析冷后验效应，其中对隐函数f(x) ~ N(0, cI)设定先验。
• 在后验中引入温度T，表示为p(θ|X,f) ∝ exp(-U(θ)/T)，其中T=1为标准贝叶斯推断，T<1为“冷”后验。
• 表明当T<1时，数学上等价于将核函数K(⋅,⋅) → TK(⋅,⋅)，并减少类噪声不确定性σ²_ε → Tσ²_ε，这在高斯过程回归中成立。
• 通过在CIFAR-10上的高斯过程分类实验，实证验证该效应，显示在T<1时对数似然和准确率均有所提升。
• 使用RBF核函数和受控标签噪声的合成实验，隔离类噪声不确定性估计对最优温度的影响。
• 在类噪声不确定性正确、过高和过低的设定下，比较不同温度设置下的负对数似然。

实验结果

研究问题

• RQ1 为何后验调节（T < 1）在贝叶斯神经网络中能提升性能，尽管违反了标准贝叶斯原则？
• RQ2 在像MNIST和CIFAR-10这样的高质量数据集上，贝叶斯神经网络中的标准先验在多大程度上高估了类噪声不确定性？
• RQ3 冷后验效应是否可被解释为对高估标签不确定性的错误先验的校正？
• RQ4 在高斯过程模型中，调节如何影响认知不确定性与类噪声不确定性之间的平衡？
• RQ5 推理的最优温度是否依赖于模型中类噪声不确定性估计的准确性？

主要发现

• 在像MNIST和CIFAR-10这样的高质量数据集上，贝叶斯神经网络中的标准先验会引入远高于数据中实际水平的类噪声不确定性。
• 将后验调节至T < 1可降低隐含的类噪声不确定性，使其更接近数据中的真实标签不确定性。
• 在高斯过程分类中，任意正温度T均对应于一个修改后先验下的有效后验，因此调节等价于经验贝叶斯方法。
• 对于回归任务，T < 1的调节等价于同时缩放核函数和类噪声方差σ²_ε，从而有效降低标签不确定性。
• 当类噪声不确定性被高估时，负对数似然在T < 1处取得最小值；当被低估时，最小值出现在T > 1处。
• 当先验高估标签模糊性时，冷后验效应最为显著，表明其作用是校正错误的先验设定，而非推理质量差的标志。