[论文解读] Do Bayesian Neural Networks Need To Be Fully Stochastic?

Mrinank Sharma, Sebastian Farquhar+2 more|arXiv (Cornell University)|Nov 11, 2022

Gaussian Processes and Bayesian Inference被引用 7

一句话总结

本文挑战了贝叶斯神经网络（BNNs）需要在所有参数上保持完全随机性才能实现表达性不确定性量化这一传统假设。本文证明，仅包含 $ n $ 个随机偏置的局部随机网络即为通用概率预测器，并通过四个推理方法和八个数据集的实证研究发现，此类网络在预测性能上可与全随机BNNs相当甚至更优，同时显著降低内存占用和训练成本。

ABSTRACT

We investigate the benefit of treating all the parameters in a Bayesian neural network stochastically and find compelling theoretical and empirical evidence that this standard construction may be unnecessary. To this end, we prove that expressive predictive distributions require only small amounts of stochasticity. In particular, partially stochastic networks with only $n$ stochastic biases are universal probabilistic predictors for $n$-dimensional predictive problems. In empirical investigations, we find no systematic benefit of full stochasticity across four different inference modalities and eight datasets; partially stochastic networks can match and sometimes even outperform fully stochastic networks, despite their reduced memory costs.

研究动机与目标

• 探究贝叶斯神经网络中全随机性是否真正对表达性且准确的不确定性量化是必需的。
• 挑战主流观点，即全随机BNNs相较于部分随机替代方案更具原则性和有效性。
• 评估部分随机网络是否可在多种推理方法和数据集上实现与全随机BNNs相当或更优的预测性能。
• 为部分随机BNNs建立理论与实证基础，使其成为全随机性的一种可行、高效且同样具有原则性的替代方案。

提出的方法

• 证明仅包含 $ n $ 个随机偏置的部分随机网络是通用条件分布近似器（UCDAs），能够以任意精度逼近任意连续条件分布。
• 通过理论分析表明，有限宽度、方差有界的全随机层可能损害输入信息，从而削弱模型表达能力。
• 在八个数据集上应用四种推理模式——哈密顿蒙特卡洛、SWAG、使用Flipout的变分推理以及均值场变分推理，以比较预测性能。
• 训练并评估部分随机网络，其中仅选定层或偏置为随机，其余参数固定或通过确定性方式优化。
• 使用负对数似然（NLL）、期望校准误差（ECE）和准确率作为评估指标，并在多个随机种子下进行测试以确保结果稳健性。
• 系统性地调整随机配置（例如仅第一层、仅最后一层、瓶颈层等）以识别高性能的部分随机设置。

实验结果

研究问题

• RQ1 贝叶斯神经网络中的全随机性是否对表达性预测分布是必需的？
• RQ2 部分随机BNNs能否实现对条件分布的通用近似？
• RQ3 全随机性是否在多种推理方法和数据集上系统性地提升预测性能？
• RQ4 部分随机网络是否能在NLL、校准性和效率方面超越全随机网络？
• RQ5 在最大化性能的同时最小化计算成本的条件下，最优的随机参数配置是什么？

主要发现

• 仅包含 $ n $ 个随机偏置的部分随机贝叶斯神经网络是通用条件分布近似器，证明全随机性并非实现表达性的必要条件。
• 在实证评估中，部分随机网络在四种推理模式和八个数据集上（包括CIFAR-10和CIFAR-10-C）的性能与全随机网络相当或更优。
• 平均而言，部分随机网络的负对数似然（NLL）和期望校准误差（ECE）低于全随机对应模型，表明其不确定性校准更优。
• 表现最佳的部分随机配置因推理模式而异，表明最优设计依赖于所采用的推理方案。
• 尽管内存占用减少且训练速度更快（例如，仅第一层随机化时约快7倍），部分随机网络仍保持或提升了预测性能。
• 即使在最先进的推理方法（如哈密顿蒙特卡洛和SWAG）中，全随机性也未表现出系统性优势，部分随机变体通常表现更优或相当。