[论文解读] Data augmentation in Bayesian neural networks and the cold posterior effect

Seth Nabarro, Stoil Ganev+4 more|arXiv (Cornell University)|Jun 10, 2021

Gaussian Processes and Bayesian Inference被引用 6

一句话总结

本文通过在有限轨道设定下引入精确似然计算和在完整轨道设定下引入紧密的多样本界，提出了基于数据增强的贝叶斯神经网络（BNN）训练的合理方法。结果表明，即使在这些定义良好的似然下，冷后验效应依然存在，说明该效应并非数据增强处理不当所致，而更可能源于数据整理或先验模型设定不当。

ABSTRACT

Bayesian neural networks that incorporate data augmentation implicitly use a ``randomly perturbed log-likelihood [which] does not have a clean interpretation as a valid likelihood function'' (Izmailov et al. 2021). Here, we provide several approaches to developing principled Bayesian neural networks incorporating data augmentation. We introduce a ``finite orbit'' setting which allows likelihoods to be computed exactly, and give tight multi-sample bounds in the more usual ``full orbit'' setting. These models cast light on the origin of the cold posterior effect. In particular, we find that the cold posterior effect persists even in these principled models incorporating data augmentation. This suggests that the cold posterior effect cannot be dismissed as an artifact of data augmentation using incorrect likelihoods.

研究动机与目标

• 为解决贝叶斯神经网络中因标准方法产生无有效概率解释的'随机扰动对数似然'而导致的长期存在的数据增强不当问题。
• 通过在有限轨道设定下实现精确似然计算和在一般情况下使用多样本界，建立将数据增强整合到BNN中的合理框架。
• 探究冷后验效应（CPE）是否源于BNN中数据增强的缺陷，特别是由于无效似然。
• 在具有清晰、良好定义的似然的模型中评估CPE，以隔离其真正来源。
• 在消除数据增强中似然不准确这一混淆因素后，澄清数据整理和先验设定不当在CPE中的作用。

提出的方法

• 提出一种'有限轨道'设定，即采用小而离散的可接受增强集合，使贝叶斯神经网络中的对数似然可精确计算。
• 提出多样本估计器，通过对网络logits或概率取平均，形成完整轨道设定下难以计算的对数似然的紧下界。
• 推导出基于在多个增强样本上平均logits或概率的训练目标，该方法相比单样本估计器能获得更有效且更紧的界。
• 将该方法应用于分类和回归任务，推广至标准分类设置之外的场景。
• 使用随机梯度Langevin动力学（SGLD）及其他贝叶斯推断方法，对采用合理数据增强的BNN进行训练与评估。
• 在后验中使用温度缩放（T）以研究冷后验效应，比较T=1和T<1时的性能与似然。

实验结果

研究问题

• RQ1 当在贝叶斯神经网络中使用合理且良好定义的似然时，冷后验效应是否依然存在？
• RQ2 能否为数据增强的BNN推导出精确或紧密的多样本对数似然界？这些界是否能提升模型校准性和性能？
• RQ3 冷后验效应是否源于朴素数据增强所导致的似然不准确？还是反映了模型设定中的更深层问题？
• RQ4 在有无数据增强的模型中冷后验效应的存在或缺失，如何帮助我们理解该效应的真正来源？
• RQ5 在排除了似然缺陷这一混淆因素后，数据整理和先验设定不当在多大程度上能解释冷后验效应？

主要发现

• 即使在有限轨道设定下使用精确似然，以及在完整轨道设定下使用紧密多样本界，冷后验效应依然存在，表明该效应并非源于数据增强引起的似然不准确。
• 先前工作中使用的标准单样本训练目标（如Wenzel等人，2020年）对真实对数似然的界较松，这可能曾导致对CPE的误解。
• 基于平均logits或概率的多样本估计器相比单样本方法能获得更紧的界，且适用于更广泛的似然函数类，而无需像以往方法那样受限于高斯或Pólya-Gamma近似。
• 有限轨道设定允许对数似然的精确计算，为评估合理数据增强的BNN提供了清晰的基准。
• 在无数据增强时冷后验效应的缺失，与在采用合理数据增强时该效应的持续存在相结合，表明非增强模型中CPE的缺失可能是使用错误模型所致，而非正确性的标志。
• 结果支持如下假设：冷后验效应更可能源于数据整理（如多位标注者对图像进行标注）或先验设定不当，而非BNN中数据增强的缺陷。