[论文解读] Disentangling the Roles of Curation, Data-Augmentation and the Prior in the Cold Posterior Effect

Lorenzo Noci, Kevin A. Roth+3 more|arXiv (Cornell University)|Jun 11, 2021

Machine Learning in Materials Science被引用 5

一句话总结

本文通过隔离数据整理、数据增强和先验分布的作用，解耦了贝叶斯神经网络中冷后验效应（CPE）的成因。研究发现，CPE主要源于低数据场景下先验的影响，而非单纯由数据整理或数据增强引起；并且表明，即使在简单且设定良好的合成设置中，CPE也能出现，这挑战了存在单一根本原因的传统观点。

ABSTRACT

The "cold posterior effect" (CPE) in Bayesian deep learning describes the uncomforting observation that the predictive performance of Bayesian neural networks can be significantly improved if the Bayes posterior is artificially sharpened using a temperature parameter T<1. The CPE is problematic in theory and practice and since the effect was identified many researchers have proposed hypotheses to explain the phenomenon. However, despite this intensive research effort the effect remains poorly understood. In this work we provide novel and nuanced evidence relevant to existing explanations for the cold posterior effect, disentangling three hypotheses: 1. The dataset curation hypothesis of Aitchison (2020): we show empirically that the CPE does not arise in a real curated data set but can be produced in a controlled experiment with varying curation strength. 2. The data augmentation hypothesis of Izmailov et al. (2021) and Fortuin et al. (2021): we show empirically that data augmentation is sufficient but not necessary for the CPE to be present. 3. The bad prior hypothesis of Wenzel et al. (2020): we use a simple experiment evaluating the relative importance of the prior and the likelihood, strongly linking the CPE to the prior. Our results demonstrate how the CPE can arise in isolation from synthetic curation, data augmentation, and bad priors. Cold posteriors observed "in the wild" are therefore unlikely to arise from a single simple cause; as a result, we do not expect a simple "fix" for cold posteriors.

研究动机与目标

• 调查冷后验效应（CPE）是否源于贝叶斯神经网络中的数据整理、数据增强或先验。
• 检验CPE是由高维模型在数据有限时先验设定不佳所导致的假设。
• 确定数据增强或数据集整理是否为CPE发生的必要条件。
• 通过在合成实验中控制整理与增强因素，隔离先验的贡献。
• 评估CPE是否能在真实模型为线性且先验设定良好的良好设定合成设置中出现。

提出的方法

• 使用具有不同整理水平的合成数据集进行受控实验，以隔离其对CPE的影响。
• 在受控环境中应用数据增强，以检验其诱导CPE的必要性与充分性。
• 使用带温度缩放的全批量马尔可夫链蒙特卡洛（MCMC）方法，在不同温度 $T < 1$ 下从后验分布采样。
• 通过CPE比率（CPER）评估CPE，定义为 $T=1$ 时测试交叉熵与 $T<1$ 时测试交叉熵的比值，以量化性能提升。
• 在二维玩具数据集上的单层MLP中分析决策边界，可视化温度缩放如何影响模型复杂度。
• 通过比较不同数据集大小 $n$ 下的性能，评估在小样本场景下先验与似然函数的相对影响。

实验结果

研究问题

• RQ1 当关闭数据增强时，冷后验效应（CPE）是否仍会在真实且经过整理的数据集（如SVHN或CIFAR-10）中出现？
• RQ2 CPE是否能通过纯合成数据整理实现，而独立于真实世界的标注或数据增强？
• RQ3 数据增强是否为CPE发生的必要条件，还是其本身足以引发该效应？
• RQ4 在低数据场景下，先验对CPE的贡献程度如何？
• RQ5 CPE是否能在真实模型为线性且先验设定良好的良好设定合成设置中出现？

主要发现

• 当关闭数据增强时，CPE不会出现在真实整理数据集（如SVHN和CIFAR-10）中，这与将整理视为主要成因的假设相矛盾。
• CPE可在受控的合成整理实验中被诱导，表明仅整理本身足以引发该效应，但并非必要条件。
• 数据增强足以引发CPE，但并非必要条件，因为当先验设定不佳时，即使无增强，CPE仍会出现。
• 随着数据集规模减小，CPE效应增强，表明在低数据场景下先验的影响逐渐增强。
• 温度缩放MCMC（$T<1$）产生的决策边界比标准贝叶斯后验（$T=1$）更简单，表明冷后验倾向于选择更简单的函数。
• CPE可在具有良好设定先验和线性可分真实函数的合成玩具数据集中出现，表明该效应并非仅由模型误配或先验选择不佳引起。