[論文レビュー] Tractable Approximate Gaussian Inference for Bayesian Neural Networks

James A. Goulet, Luong Ha Nguyen+1 more|PolyPublie (École Polytechnique de Montréal)|Apr 20, 2020

Gaussian Processes and Bayesian Inference参考文献 34被引用数 6

ひとこと要約

本稿では、バックプロパゲーションを用いず、重みおよびバイアスの事後平均と対角共分散をO(n)の複雑さで正確に計算できる、ベイジアンニューラルネットワークにおける新たな解析的手法であるTractable Approximate Gaussian Inference (TAGI)を紹介する。TAGIは回帰およびMNIST分類ベンチマークで最先端の性能を達成しており、勾配ベースの手法と同等の精度を示しながら、効率的で不確実性を考慮したオンライン推論を可能にする。

ABSTRACT

In this paper, we propose an analytical method for performing tractable approximate Gaussian inference (TAGI) in Bayesian neural networks. The method enables the analytical Gaussian inference of the posterior mean vector and diagonal covariance matrix for weights and biases. The method proposed has a computational complexity of $\mathcal{O}(n)$ with respect to the number of parameters $n$, and the tests performed on regression and classification benchmarks confirm that, for a same network architecture, it matches the performance of existing methods relying on gradient backpropagation.

研究の動機と目的

• ベイジアンニューラルネットワークにおける、バックプロパゲーションを回避する、取り扱いやすい解析的手法による近似ガウス推論を開発すること。
• パラメータ数に対して線形な複雑さO(n)で、ネットワークの重みおよびバイアスの事後平均と対角共分散を効率的に計算できること。
• 点推定では不十分な低データ、継続的学習、オンライン推論の状況において、不確実性の定量化をサポートすること。
• 回帰および分類ベンチマークにおいて、既存の勾配ベースの手法と比較して本手法の性能を検証すること。

提案手法

• モーメント生成関数と活性化関数の局所的線形化を用いて、ネットワーク全体にわたり不確実性を解析的に前方に伝搬する。
• 各層でガウス仮定を再帰的に適用することで、隠れユニットおよびパラメータに対して取り扱いやすい、層ごとの推論を実行する。
• ニューラルネットワークにおける条件付き独立性を活用することで、パラメータ数に対して線形のストレージおよび計算複雑さを達成する。
• 重みおよびバイアスの事前分布を多変量ガウス分布としてモデル化し、閉形式の式を用いて解析的に事後分布を計算する。
• 観測ノイズを独立したガウス変数としてモデル化し、学習された分散を用いることで、回帰および分類の両タスクを扱える。
• 汎化性能を最適化するために検証セット上で早期停止およびハイパーパramータチューニングを実施し、複数回のランダム初期化での結果を平均化する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ数に対して線形な複雑さと高い精度を備えた、バックプロパゲーションに依存しない解析的推論が、ベイジアンニューラルネットワークで開発可能か。
• RQ2 TAGIの性能は、回帰および分類タスクにおける勾配ベースのベイジアンニューラルネットワーク手法と比べてどうか。
• RQ3 本手法は、低データ環境における不確実性の定量化およびオンライン学習をどの程度サポートできるか。
• RQ4 訓練プロセスにおけるミニバッチサイズおよび観測ノイズ分散の変動に対して、TAGIの性能はどの程度感受性を示すか。

主な発見

• 800ユニットの隠れ層と14最適エポックを用いた場合、MNISTで1.54%のテスト誤差を達成し、同様のアーキテクチャにおける最先端の結果と一致した。
• 同じアーキテクチャで100ユニットと21最適エポックを用いた場合、2.29%の誤差を達成し、小さなネットワークでも優れた性能を示した。
• さまざまなミニバッチサイズにおいて性能が安定しており、B=10をB=1と比較してわずかな劣化しか示さなかったため、バッチサイズに対して頑健であることが示された。
• 大きなバッチサイズを使用する際には重み初期化に対する感受性が最小限に抑えられていたが、B=1の場合、σVおよび初期化にやや感受性が高かった。
• バックプロパゲーションを用いないにもかかわらず、Bayes by Backprop や Variational Message Passing といった勾配ベースの手法と同等の精度を達成した。
• 計算複雑さはパラメータ数に対して線形に増加するため、リアルタイムおよびオンライン学習アプリケーションに適している。