[論文レビュー] Fixing Variational Bayes: Deterministic Variational Inference for Bayesian Neural Networks

Anqi Wu, Sebastian Nowozin+4 more|arXiv (Cornell University)|Oct 9, 2018

Gaussian Processes and Bayesian Inference参考文献 19被引用数 10

ひとこと要約

本稿では、新しいモーメント近似を用いて勾配の分散を排除し、階層的事前分布とEmpirical Bayes手順を用いて事前分散の選択を自動化することにより、ベイジアンニューラルネットワークのロバストで決定論的な変分推論手法を提案する。得られる手法は、最小限のハイパーパrameterチューニングで非定常回帰において優れた予測性能を達成する。

ABSTRACT

Bayesian neural networks (BNNs) hold great promise as a flexible and principled solution to deal with uncertainty when learning from finite data. Among approaches to realize probabilistic inference in deep neural networks, variational Bayes (VB) is theoretically grounded, generally applicable, and computationally efficient. With wide recognition of potential advantages, why is it that variational Bayes has seen very limited practical use for BNNs in real applications? We argue that variational inference in neural networks is fragile: successful implementations require careful initialization and tuning of prior variances, as well as controlling the variance of Monte Carlo gradient estimates. We provide two innovations that aim to turn VB into a robust inference tool for Bayesian neural networks: first, we introduce a novel deterministic method to approximate moments in neural networks, eliminating gradient variance; second, we introduce a hierarchical prior for parameters and a novel Empirical Bayes procedure for automatically selecting prior variances. Combining these two innovations, the resulting method is highly efficient and robust. On the application of heteroscedastic regression we demonstrate good predictive performance over alternative approaches.

研究の動機と目的

• 初期値や事前分散のチューニングに敏感な変分ベイズの脆弱性を是正すること。
• 変分推論中の確率的勾配推定における勾配分散を排除すること。
• 階層的事前分布とEmpirical Bayes手順を用いて、事前分散の選択を自動化すること。
• 実世界の応用に適した、実用的で効率的かつロバストなベイジアンニューラルネットワークの推論フレームワークの構築こと。

提案手法

• モンテカルロサンプルを必要としない決定論的手法により、ニューラルネットワークにおける事後モーメントを近似することで、勾配分散を排除する。
• ネットワーク重みに階層的事前分布構造を導入し、Empirical Bayesによる事前分散の自動キャリブレーションを可能にする。
• データから最適な事前分散を学習するためのEmpirical Bayes手順を用いることで、手動チューニングへの依存を低減する。
• 決定論的モーメント近似と階層的事前分布を組み合わせることで、安定的かつ効率的な変分推論アルゴリズムを実現する。
• 特に非定常回帰を対象として、ベイジアンニューラルネットワークにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルネットワークにおける変分推論は、初期値や事前分散の選択に対してロバストにできるか？
• RQ2 柔軟性を損なわずに、確率的勾配推定における勾配分散を排除できるか？
• RQ3 整合的な階層的事前分布構造を用いて、データから事前分散を自動的に選択できるか？
• RQ4 提案手法は、実世界の回帰タスクにおいて競争力のある予測性能を達成できるか？

主な発見

• 提案手法は、非定常回帰タスクにおいて優れた予測性能を達成し、他の手法を上回る。
• 初期値や事前分散の設定に対してロバストであるため、広範なハイパーパrameterチューニングの必要がなくなる。
• 決定論的モーメント近似により勾配分散が効果的に排除され、トレーニングの安定性が向上する。
• 事前分散選択のためのEmpirical Bayes手順により、異なるデータセットにおいて一貫性があり信頼性の高い性能が得られる。