[论文解读] On Uncertainty, Tempering, and Data Augmentation in Bayesian Classification

Sanyam Kapoor, Wesley J. Maddox+2 more|arXiv (Cornell University)|Mar 30, 2022

Gaussian Processes and Bayesian Inference被引用 9

一句话总结

本文提出在贝叶斯神经网络的分类任务中显式建模随机不确定性（aleatoric uncertainty），采用狄利克雷观测模型，从而无需后验温度调节（posterior tempering）。实验表明，数据增强可有效提升随机不确定性，而低温后验（温度 T < 1）自然反映了这一现象；相比之下，狄利克雷模型通过浓度参数直接控制不确定性，无需温度调节即可实现更优性能。

ABSTRACT

Aleatoric uncertainty captures the inherent randomness of the data, such as measurement noise. In Bayesian regression, we often use a Gaussian observation model, where we control the level of aleatoric uncertainty with a noise variance parameter. By contrast, for Bayesian classification we use a categorical distribution with no mechanism to represent our beliefs about aleatoric uncertainty. Our work shows that explicitly accounting for aleatoric uncertainty significantly improves the performance of Bayesian neural networks. We note that many standard benchmarks, such as CIFAR, have essentially no aleatoric uncertainty. Moreover, we show data augmentation in approximate inference has the effect of softening the likelihood, leading to underconfidence and profoundly misrepresenting our honest beliefs about aleatoric uncertainty. Accordingly, we find that a cold posterior, tempered by a power greater than one, often more honestly reflects our beliefs about aleatoric uncertainty than no tempering -- providing an explicit link between data augmentation and cold posteriors. We show that we can match or exceed the performance of posterior tempering by using a Dirichlet observation model, where we explicitly control the level of aleatoric uncertainty, without any need for tempering.

研究动机与目标

• 为解决贝叶斯分类中缺乏显式随机不确定性建模的问题，其中标准的 softmax 似然函数未考虑标签噪声或数据不确定性。
• 研究数据增强如何影响近似贝叶斯推断中有效随机不确定性的水平。
• 将低温后验效应（cold posterior effect）解释为由于数据增强和模型误设导致随机不确定性表征不当的后果。
• 提出一种狄利克雷观测模型，可直接控制随机不确定性，从而消除对后验温度调节的需求。
• 证明显式建模随机不确定性可带来更优的预测性能和更诚实的不确定性估计，优于温度调节或标准似然函数。

提出的方法

• 将贝叶斯神经网络中标准的 softmax 似然解释为类别概率上的狄利克雷分布，从而实现对随机不确定性的显式建模。
• 引入一种带噪声的狄利克雷模型，将浓度参数设为输入相关，使模型能够根据输入自适应调整不确定性。
• 证明数据增强会软化似然函数，有效提升随机不确定性，从而解释低温后验效应。
• 表明后验温度调节中 T < 1 的操作，等价于增加真实类别对应的狄利克雷分布的浓度参数，即建模了更高的置信度。
• 在 CIFAR 等基准数据集上进行实验评估，比较标准 BNN、温度调节后验与所提出的狄利克雷模型的性能。
• 采用带近似推断（如变分推断）的贝叶斯神经网络，并评估预测准确率与不确定性校准性。

实验结果

研究问题

• RQ1 为什么低温后验效应在贝叶斯神经网络中持续存在？这是否是模型误设的标志？
• RQ2 数据增强如何影响贝叶斯分类中有效随机不确定性的水平？
• RQ3 能否在分类任务中像回归中通过噪声方差显式建模随机不确定性一样，显式建模随机不确定性？
• RQ4 狄利克雷观测模型是否能消除贝叶斯神经网络中对后验温度调节的需求？
• RQ5 显式建模随机不确定性如何提升预测性能与不确定性校准性？

主要发现

• 数据增强会提升贝叶斯神经网络中有效随机不确定性的水平，这解释了为何低温后验（T < 1）通常比 T = 1 表现更优。
• 低温后验效应的产生，是因为标准似然函数未能表征数据增强所引入的随机不确定性增加。
• 所提出的狄利克雷观测模型可通过浓度参数直接控制随机不确定性，其性能在无需温度调节的情况下可与温度调节后验相媲美甚至超越。
• 正确指定随机不确定性的模型无需后验温度调节，表明温度调节实为模型误设的后果，而非必要修正手段。
• 在未使用数据增强的模型中，低温后验效应的缺失是模型误设的产物，而非贝叶斯推断的根本属性。
• 正确建模随机不确定性可带来更诚实的不确定性估计，并提升预测准确率，尤其在分布偏移（distribution shift）情况下表现更优。