[论文解读] Fixing Variational Bayes: Deterministic Variational Inference for Bayesian Neural Networks

Anqi Wu, Sebastian Nowozin+4 more|arXiv (Cornell University)|Oct 9, 2018

Gaussian Processes and Bayesian Inference参考文献 19被引用 10

一句话总结

本文提出了一种稳健的、确定性的变分推断方法，用于贝叶斯神经网络，通过一种新颖的矩逼近方法消除了梯度方差，并通过层次先验和经验贝叶斯程序实现了先验方差选择的自动化。该方法在异方差回归中实现了出色的预测性能，且超参数调优极少。

ABSTRACT

Bayesian neural networks (BNNs) hold great promise as a flexible and principled solution to deal with uncertainty when learning from finite data. Among approaches to realize probabilistic inference in deep neural networks, variational Bayes (VB) is theoretically grounded, generally applicable, and computationally efficient. With wide recognition of potential advantages, why is it that variational Bayes has seen very limited practical use for BNNs in real applications? We argue that variational inference in neural networks is fragile: successful implementations require careful initialization and tuning of prior variances, as well as controlling the variance of Monte Carlo gradient estimates. We provide two innovations that aim to turn VB into a robust inference tool for Bayesian neural networks: first, we introduce a novel deterministic method to approximate moments in neural networks, eliminating gradient variance; second, we introduce a hierarchical prior for parameters and a novel Empirical Bayes procedure for automatically selecting prior variances. Combining these two innovations, the resulting method is highly efficient and robust. On the application of heteroscedastic regression we demonstrate good predictive performance over alternative approaches.

研究动机与目标

• 解决变分贝叶斯在贝叶斯神经网络中因对初始化和先验方差调优敏感而导致的脆弱性问题。
• 在变分推断过程中消除随机梯度估计中的梯度方差。
• 通过层次先验和经验贝叶斯程序实现先验方差选择的自动化。
• 开发一种适用于实际应用的、高效且稳健的贝叶斯神经网络推断框架。

提出的方法

• 提出一种确定性方法来近似神经网络的后验矩，消除了对蒙特卡洛采样的依赖，从而消除了梯度方差。
• 在网络权重上采用层次先验结构，通过经验贝叶斯方法实现先验方差的自动校准。
• 使用经验贝叶斯程序从数据中学习最优先验方差，减少对人工调优的依赖。
• 将确定性矩逼近与层次先验相结合，生成一种稳定且高效的变分推断算法。
• 将该方法应用于贝叶斯神经网络的回归任务，特别是异方差回归。

实验结果

研究问题

• RQ1 能否使贝叶斯神经网络中的变分推断对初始化和先验方差选择更加稳健？
• RQ2 能否在不牺牲灵活性的前提下消除随机梯度估计中的梯度方差？
• RQ3 能否通过合理的层次先验结构从数据中自动选择先验方差？
• RQ4 所提出的方法是否在真实世界的回归任务中实现了具有竞争力的预测性能？

主要发现

• 所提出的方法在异方差回归任务中实现了出色的预测性能，优于其他替代方法。
• 该方法对初始化和先验方差设置具有鲁棒性，消除了对大量超参数调优的需求。
• 通过确定性矩逼近，梯度方差被有效消除，从而提高了训练稳定性。
• 先验方差选择的经验贝叶斯程序在不同数据集上均带来了稳定且可靠的表现。