[论文解读] A statistical theory of cold posteriors in deep neural networks

Laurence Aitchison|arXiv (Cornell University)|Aug 13, 2020

Adversarial Robustness in Machine Learning参考文献 22被引用 7

一句话总结

本文提出，贝叶斯神经网络中冷后验（cold posteriors）有效性的根源并非源于错误的先验，而是数据集的整理方式：CIFAR-10 等标准基准数据集经过筛选，仅保留所有标注者意见一致的样本，这种筛选方式自然地诱导出一种有利于后验温度调节（tempered posteriors）的似然结构。关键结果表明，当使用完全标注且共识度高的标签（如 CIFAR-10H 中的数据）时，冷后验效应会消失，证实了数据整理带来的标签确定性是导致需要温度调节的根本原因。

ABSTRACT

To get Bayesian neural networks to perform comparably to standard neural networks it is usually necessary to artificially reduce uncertainty using a "tempered" or "cold" posterior. This is extremely concerning: if the prior is accurate, Bayes inference/decision theory is optimal, and any artificial changes to the posterior should harm performance. While this suggests that the prior may be at fault, here we argue that in fact, BNNs for image classification use the wrong likelihood. In particular, standard image benchmark datasets such as CIFAR-10 are carefully curated. We develop a generative model describing curation which gives a principled Bayesian account of cold posteriors, because the likelihood under this new generative model closely matches the tempered likelihoods used in past work.

研究动机与目标

• 解决一个悖论：尽管在模型假设正确时贝叶斯推断应为最优，但贝叶斯神经网络仍需通过温度调节（冷后验）才能达到标准神经网络的性能水平。
• 探究温度调节的需求是否源于先验设定不当，还是源于似然模型中的缺陷。
• 构建一个数据集整理过程的生成模型，以解释为何在实践中温度调节后的后验表现更优。
• 通过 CIFAR-10H 数据集（作为真实共识标签的代理）测试，验证当标签共识完全可得时，冷后验效应是否消失。

提出的方法

• 提出一个数据集整理的生成模型，其中仅当所有标注者对样本类别达成一致时才将其纳入数据集，从而导致一种天然偏好尖锐后验的似然结构。
• 将此整理过程下的似然建模为等价于温度调节后的似然，解释为何在精确贝叶斯推断下冷后验会自然出现。
• 使用 CIFAR-10H 数据集（约 50 名人类标注者对每个测试图像进行标注）作为完全标签共识的代理，以验证理论。
• 在标准 CIFAR-10（单标签）和 CIFAR-10H（多标签共识）上，对比贝叶斯神经网络在有无温度调节下的性能，以隔离整理过程的影响。
• 引入受控的标签噪声以破坏标签共识度，观察其对冷后验效应的影响。
• 将整理过程下的似然形式化为标签一致概率的乘积，从而在贝叶斯更新下产生等效于温度调节的似然结构。

实验结果

研究问题

• RQ1 为何贝叶斯神经网络需要温度调节（冷后验）才能达到与标准神经网络相当的性能？
• RQ2 温度调节的需求是源于先验设定不当，还是源于似然模型的特性？
• RQ3 当标签共识完全可得时，冷后验效应是否如整理模型所预测的那样消失？
• RQ4 引入标签噪声如何影响冷后验效应，这又对潜在原因提供了何种启示？
• RQ5 能否通过数据集整理的生成模型，解释温度调节后验所利用的统计模式？

主要发现

• 在使用 CIFAR-10H 数据集（50 名标注者提供的完全标签共识）时，冷后验效应显著减弱甚至完全消失，支持了‘数据整理驱动温度调节需求’的假设。
• 当标签被人为引入噪声后，冷后验效应减弱并最终反转，性能在温度接近 1 时达到峰值，表明标签确定性是关键因素。
• 所提出的整理生成模型（仅包含全体标注者一致的样本）在精确贝叶斯推断下，自然产生类似温度调节的后验结构。
• 该理论表明，温度调节并非用于修正先验设定不当，而是对高质量、经整理的标签所诱导的似然结构的校正。
• 结果表明，冷后验并非推理或先验错误的标志，而是标准基准数据集中数据生成过程的产物。
• 研究暗示，未来的贝叶斯神经网络应在似然建模中考虑整理效应，且数据集设计可能对不确定性估计产生重大影响。