[論文レビュー] Probabilistic Backpropagation for Scalable Learning of Bayesian Neural Networks

José Miguel Hernández-Lobato, Ryan P. Adams|arXiv (Cornell University)|Feb 18, 2015

Machine Learning and Algorithms参考文献 25被引用数 561

ひとこと要約

この論文では、確率的バックプロパゲーション（PBP）を紹介する。PBPは、バックプロパゲーションを拡張し、確率的分布を前向きおよび後向きに伝搬することで、ネットワーク重みの事後分布の近似を学習するスケーラブルなベイジアンニューラルネットワーク学習手法である。PBPは、実世界のデータセットにおいて、HMC や EP よりも著しく高速でありながら、最先端の予測性能とキャリブレートされた不確実性推定を達成している。

ABSTRACT

Large multilayer neural networks trained with backpropagation have recently achieved state-of-the-art results in a wide range of problems. However, using backprop for neural net learning still has some disadvantages, e.g., having to tune a large number of hyperparameters to the data, lack of calibrated probabilistic predictions, and a tendency to overfit the training data. In principle, the Bayesian approach to learning neural networks does not have these problems. However, existing Bayesian techniques lack scalability to large dataset and network sizes. In this work we present a novel scalable method for learning Bayesian neural networks, called probabilistic backpropagation (PBP). Similar to classical backpropagation, PBP works by computing a forward propagation of probabilities through the network and then doing a backward computation of gradients. A series of experiments on ten real-world datasets show that PBP is significantly faster than other techniques, while offering competitive predictive abilities. Our experiments also show that PBP provides accurate estimates of the posterior variance on the network weights.

研究の動機と目的

• 標準的なバックプロパゲーションの限界、特に不確実性の定量的評価の欠如やハイパーパrameterチューニングへの感受性を解消すること。
• 従来のベイジアン推論手法の計算的非実行性に起因する課題を克服し、大規模なニューラルネットワークおよびデータセット向けのスケーラブルなベイジアン学習手法を開発すること。
• 高い予測性能を維持しながら、ネットワーク重みの事後分散推定を正確に得ること。
• 信頼性の高い事後分散推定を用いて、不確実性に基づくデータ選択によるアクティブラーニングを可能にすること。
• バックプロパゲーションの効率性とベイジアン推論のロバスト性を、ディープラーニングにおいて統合すること。

提案手法

• PBPは、ニューラルネットワーク重みの事後分布をガウス分布の積で近似する。
• データの周辺尤度を計算するために、確率的分布をネットワーク全体に前向きに伝搬する。
• 周辺尤度のガウス事後分布のパラメータに関して勾配を後向きに伝搬する。
• これらの勾配を用いて、確率的最適化により繰り返し、事後分布の平均および分散を更新する。
• 本手法は、ランダムなデータ収集とアクティブデータ収集の両方をサポートしており、アクティブラーニングは予測分散の最大化によって誘導される。
• PBPは、多くの既存のベイジアンニューラルネットワーク手法とは異なり、大規模なデータセットおよび深層アーキテクチャにスケーラブルに設計されている。

実験結果

リサーチクエスチョン

• RQ1 高精度な予測性能を維持しながら、キャリブレートされた不確実性推定を提供するスケーラブルなベイジアンニューラルネットワーク学習手法を開発できるか？
• RQ2 実世界のデータセットにおいて、PBPはHMC、EP、ラプラス近似といった確立されたベイジアン手法と比較して、性能および速度で優れているか？
• RQ3 PBPは、信頼性の高い事後分散推定を提供することで、データ選択のためのアクティブラーニングをどの程度サポートできるか？
• RQ4 PBPは、標準的なバックプロパゲーションで一般的に見られるハイパーパrameter感受性および過学習の問題を回避できるか？
• RQ5 PBPは、大規模なネットワークおよびデータセットにおける重みの事後分布を効果的に近似できるか？

主な発見

• PBPは、10個の実世界データセットにおいて、HMC、EP、LAと同等またはそれ以上のテストRMSEを達成し、競争力のある予測性能を示した。
• アクティブラーニング設定では、PBPがEPおよびLAを著しく上回り、特にボストン、エナジー、パワープラント、ヨートのデータセットで顕著な結果を示した。これは、信頼性の高い不確実性推定を示している。
• PBPを用いたアクティブラーニング戦略は、ランダムサンプリングよりもテストRMSEをより効果的に低減し、HMCと同等の改善効果を示した。これにより、PBPの事後分散推定の実用性が裏付けられた。
• PBPはHMCやEPよりも著しく高速であり、大規模なベイジアンニューラルネットワーク学習に適している。
• ラプラス近似は、その対角ヘッシアン仮定により誤ったハイパーパrameter推定を引き起こしたため、性能が低かった。一方、PBPはこの問題を回避した。
• PBPは、HMCの真値と比較することで検証された結果、ネットワーク重みの正確な事後分散推定を生成した。これにより、不確実性の定量的評価における信頼性が確認された。