[論文レビュー] Sampling-Free Variational Inference of Bayesian Neural Networks by Variance Backpropagation

Manuel Haußmann, Fred A. Hamprecht+1 more|arXiv (Cornell University)|May 19, 2018

Gaussian Processes and Bayesian Inference参考文献 38被引用数 9

ひとこと要約

本稿では、ReLU非線形性の分解と期待値・分散の別々の経路を用いる分散誤差逆伝搬を用いて、サンプリングを不要とするベイジアンニューラルネットワークの変分推論手法を提案する。これにより、解析的に取り扱える下界確率下界（ELBO）の計算が可能となり、モンテカルロ法や中心極限定理（CLT）に基づく手法と比較してよりタイトな近似が得られる。回帰および分類ベンチマークにおいて、競争力あるまたは優れた性能を示している。

ABSTRACT

We propose a new Bayesian Neural Net formulation that affords variational inference for which the evidence lower bound is analytically tractable subject to a tight approximation. We achieve this tractability by (i) decomposing ReLU nonlinearities into the product of an identity and a Heaviside step function, (ii) introducing a separate path that decomposes the neural net expectation from its variance. We demonstrate formally that introducing separate latent binary variables to the activations allows representing the neural network likelihood as a chain of linear operations. Performing variational inference on this construction enables a sampling-free computation of the evidence lower bound which is a more effective approximation than the widely applied Monte Carlo sampling and CLT related techniques. We evaluate the model on a range of regression and classification tasks against BNN inference alternatives, showing competitive or improved performance over the current state-of-the-art.

研究の動機と目的

• ベイジアンニューラルネットワークにおけるモンテカルロに基づく変分推論に内在する計算非効率性と近似誤差を解消すること。
• 確率下界（ELBO）の解析的計算を可能とする定式化を構築し、確率的サンプリングの必要性を排除すること。
• ベイジアンニューラルネットワーク推論において広く用いられるモンテカルロ法および中心極限定理（CLT）に基づく手法を上回る近似品質を向上させること。
• ReLU活性化関数の新しい構造的分解と分散経路を用いて、より効率的かつ正確なベイジアンディープラーニングを実現すること。

提案手法

• 非線形性の解析的取り扱いを可能とするために、ReLUを恒等関数とヘヴィサイドのステップ関数の積に分解する。
• ネットワークの期待値と分散の計算を分離するための別々の潜在変数経路を導入し、分散誤差逆伝搬を可能にする。
• 活性化関数を二値潜在変数でモデル化することで、ニューラルネットワークの尤度を線形操作の連鎖として表現する。
• 分解構造に対して変分推論を適用し、確率的サンプリングを回避してELBOを解析的に計算する。
• 解析的ELBOを真の対数尤度のタイトな近似として用い、サンプリングに基づく代替手法よりも推論精度を向上させる。
• この構造を活用して、モンテカルロサンプリングを一切行わないエンドツーエンド微分可能訓練を実現し、計算効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルネットワークにおける確率下界（ELBO）は、モンテカルロサンプリングに依存せずに解析的に計算可能か？
• RQ2 ReLU非線形性を恒等関数とステップ関数の成分に分解することで、よりタイトで取り扱いやすい変分推論が可能になるか？
• RQ3 分散計算のための別々の経路は、標準的なサンプリングに基づく手法と比較してELBO近似の品質を向上させられるか？
• RQ4 提案手法は、標準ベンチマークにおいて、最先端のベイジアンニューラルネットワーク推論技術と比較してどの程度の性能を示すか？

主な発見

• 提案手法により、ベイジアンニューラルネットワークにおける確率下界（ELBO）の解析的計算が可能となり、確率的サンプリングの必要性が排除された。
• ReLUを恒等関数とヘヴィサイド関数に分解することで、ネットワーク尤度が線形操作の連鎖として表現可能となり、取り扱いやすい推論が可能になった。
• 分散計算の別々の経路により、モンテカルロ法やCLTに基づく手法と比較して、よりタイトなELBO近似が得られた。
• 複数の回帰および分類タスクにおいて、既存の最先端のベイジアンニューラルネットワーク推論手法と比較して、同等または優れた性能を達成した。