[论文解读] Bayesian Neural Network Priors Revisited
该论文对用 SGD 训练的神经网络进行了实证分析，以识别权重分布模式，并提出依赖于架构和任务的先验分布（对 FCNNs 为重尾分布；对 CNNs/ResNets 为相关高斯分布），以提升贝叶斯神经网络性能并应对冷后验效应。
Isotropic Gaussian priors are the de facto standard for modern Bayesian neural network inference. However, it is unclear whether these priors accurately reflect our true beliefs about the weight distributions or give optimal performance. To find better priors, we study summary statistics of neural network weights in networks trained using stochastic gradient descent (SGD). We find that convolutional neural network (CNN) and ResNet weights display strong spatial correlations, while fully connected networks (FCNNs) display heavy-tailed weight distributions. We show that building these observations into priors can lead to improved performance on a variety of image classification datasets. Surprisingly, these priors mitigate the cold posterior effect in FCNNs, but slightly increase the cold posterior effect in ResNets.
研究动机与目标
- 在现代神经网络中推动反映真实权重分布的贝叶斯先验。
- 表征在使用 SGD 训练的 FCNNs、CNNs 和 ResNets 中的经验权重分布。
- 提出并评估基于经验发现的替代先验（重尾、相关高斯）。
- 评估不同先验对预测性能和冷后验效应的影响。
- 提供一个可重复使用的 PyTorch 库，以促进具有多样先验的贝叶斯神经网络推断。
提出的方法
- 将等方高斯先验与重尾（Laplace、Student-t）和相关高斯先验进行比较。
- 实证分析在 MNIST 和 CIFAR-10 上用 SGD 训练的 FCNNs、CNNs 与 ResNets 的权重分布。
- 对 SGD 解进行分布拟合，并检查尾部行为以及卷积滤波器内的空间相关性。
- 使用带梯度引导的蒙特卡洛的 SG-MCMC 和循环学习率，在不同先验下近似后验。
- 在先验和架构之间评估预测性能、校准及异常检测（OOD）。
- 提供一个公开可用的用于贝叶斯 NN 推断中先验的 PyTorch 库。
实验结果
研究问题
- RQ1SGD 训练的 FCNNs、CNNs 和 ResNets 是否表现出非高斯权重分布，从而需要替代先验？
- RQ2是否存在应在先验中编码的架构特定权重相关结构（如 CNN 的空间相关性）？
- RQ3与等方高斯先验相比，重尾或相关先验是否能提升贝叶斯 NN 的性能？
- RQ4所选先验如何影响 FCNN、CNN 和 ResNet 的冷后验效应？
- RQ5数据增强是否与先验不匹配相互作用，从而影响后验推断？
主要发现
- FCNN 权重往往呈现重尾特性，使用重尾先验能更好地捕捉并提升性能。
- CNN 和 ResNet 的权重在卷积滤波器内显示显著的空间相关性。
- 重尾先验提升了贝叶斯 FCNN 的性能，并减小了 FCNN 的冷后验效应。
- 相关高斯先验相较于各向同性先验，在贝叶斯 CNNs 和 ResNets 的性能提升上更明显，尽管对冷后验的影响因架构和任务而异。
- 在 FCNN 中，重尾先验可缓解冷后验效应，而在 ResNets 中某些数据集下相关先验可能放大这一效应。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。