[论文解读] Dangers of Bayesian Model Averaging under Covariate Shift

Pavel Izmailov, Patrick K. Nicholson+2 more|arXiv (Cornell University)|Jun 22, 2021

Gaussian Processes and Bayesian Inference参考文献 53被引用 7

一句话总结

本文指出，在协变量偏移下，贝叶斯神经网络（BNNs）中的贝叶斯模型平均（BMA）性能会因未正则化的、对应于线性相关输入特征（如MNIST中的坏像素）的权重被从先验中采样而严重下降，从而放大测试时的噪声。作者为此类正交方向提出了新型低方差先验，并为非零均值噪声设计了和约束先验，显著提升了分布外（OOD）泛化能力，同时保持了分布内性能。

ABSTRACT

Approximate Bayesian inference for neural networks is considered a robust alternative to standard training, often providing good performance on out-of-distribution data. However, Bayesian neural networks (BNNs) with high-fidelity approximate inference via full-batch Hamiltonian Monte Carlo achieve poor generalization under covariate shift, even underperforming classical estimation. We explain this surprising result, showing how a Bayesian model average can in fact be problematic under covariate shift, particularly in cases where linear dependencies in the input features cause a lack of posterior contraction. We additionally show why the same issue does not affect many approximate inference procedures, or classical maximum a-posteriori (MAP) training. Finally, we propose novel priors that improve the robustness of BNNs to many sources of covariate shift.

研究动机与目标

• 研究高保真贝叶斯神经网络（BNNs）结合哈密顿蒙特卡洛（HMC）在协变量偏移下表现出差的分布外（OOD）泛化的原因。
• 解释这一失败的根本原因，特别是输入特征中线性依赖关系的作用以及BMA中后验收缩的缺失。
• 对比贝叶斯模型平均与经典MAP训练和随机优化在分布偏移下的鲁棒性。
• 为多种类型的协变量偏移（包括数据损坏、领域偏移和虚假相关）开发新型先验，以提升BNN的鲁棒性。
• 证明该问题本质上是具有线性相关特征的非线性参数模型中BMA的固有问题，不局限于特定架构或数据集。

提出的方法

• 分析输入特征中的线性依赖性（如MNIST中的坏像素）对BNN后验收缩和在协变量偏移下预测鲁棒性的影响。
• 比较通过HMC实现的贝叶斯模型平均（BMA）与最大后验（MAP）训练及SGD优化，重点关注权重初始化和正则化效应。
• 提出一种新型先验，约束数据流形正交方向上的第一层权重方差，以减少对测试时噪声的敏感性。
• 引入第二种先验，通过约束第一层权重之和，缓解非零均值噪声下的性能下降。
• 在CIFAR-10-C和MNIST上评估所提先验，将使用HMC的BNN与MAP和SGD基线进行比较。
• 通过损失曲面可视化与分析，评估极小值的平坦度及其对数据损坏的鲁棒性。

实验结果

研究问题

• RQ1 为何高保真HMC推理的贝叶斯神经网络在协变量偏移下表现不如经典MAP训练？
• RQ2 输入特征中的线性依赖性（如坏像素）如何导致BNN中泛化性能差？
• RQ3 为何贝叶斯模型平均比MAP或SGD更易受测试时分布偏移的影响？
• RQ4 能否通过针对性先验提升BNN对多种类型协变量偏移的鲁棒性，同时不降低分布内性能？
• RQ5 权重初始化和优化动态在BNN于分布偏移下的鲁棒性中起什么作用？

主要发现

• 在像素化损坏的CIFAR-10-C数据集上，使用HMC的ResNet-20 BNN准确率仅为44%，比MAP解低25个百分点（69%），尽管在分布内数据上表现更优。
• BNN对协变量偏移鲁棒性差，是因为对应于线性相关特征（如坏像素）的权重从先验中采样，放大了测试时的噪声，而MAP正则化则抑制了此类权重。
• MAP解对坏像素特征产生结构化、接近零的权重，而BNN样本在这些权重上表现出高噪声，使预测对输入损坏敏感。
• 较小的权重初始化（如U(−0.001, 0.001)）可提升SGD对协变量偏移的鲁棒性，表明小初始权重有助于避免对虚假特征的过拟合。
• 所提出的正交方向低方差先验和非零均值损坏的和约束先验显著提升了BNN的OOD泛化能力。
• 损失曲面分析表明，平坦极小值（通过SGD找到）受损坏影响较小，且最优模式在损坏强度增加时保持稳定。