[論文レビュー] Weight Uncertainty in Neural Networks

Charles Blundell, Julien Cornebise+2 more|arXiv (Cornell University)|May 20, 2015

Adversarial Robustness in Machine Learning参考文献 29被引用数 1,272

ひとこと要約

この論文は、変分推論を用いてニューラルネットワーク重みの確率分布を学習する微分可能でバックプロパゲーションと互換性のあるアルゴリズム、Bayes by Backpropを提案する。MNISTではドロップアウトと同等の性能を達成し、回帰において不確実性を考慮した予測により一般化性能を向上させ、トムソンサンプリングを用いた強化学習における自然な探索を可能にした。また、標準的なディープラーニングハードウェアでも効率的にスケーリング可能である。

ABSTRACT

We introduce a new, efficient, principled and backpropagation-compatible algorithm for learning a probability distribution on the weights of a neural network, called Bayes by Backprop. It regularises the weights by minimising a compression cost, known as the variational free energy or the expected lower bound on the marginal likelihood. We show that this principled kind of regularisation yields comparable performance to dropout on MNIST classification. We then demonstrate how the learnt uncertainty in the weights can be used to improve generalisation in non-linear regression problems, and how this weight uncertainty can be used to drive the exploration-exploitation trade-off in reinforcement learning.

研究の動機と目的

• 標準的なニューラルネットワークにおける過学習と不確実性推定の不足を解消するため、重みの不確実性を原理的かつ適切に取り扱うことを目的とする。
• バックプロパゲーションと互換性があり、スケーラブルなベイジアンニューラルネットワークのための手法を開発し、不確実性を考慮した予測を可能にする。
• 重みの不確実性が回帰タスクにおける一般化性能を向上させ、文脈バンディットタスクにおける効果的な探索を促進することを示す。
• 1つの確率的重み分布を用いて正則化、モデルアンサンブル、探索を統合するフレームワークを提供する。

提案手法

• パラメータ化された分布を用いて、真の重み事後分布を近似するための変分推論を適用し、変分自由エネルギー（下界としての証拠）を最小化する。
• 再パラメトリゼーション勾配を用いて、不偏で微分可能な変分目的関数の最適化を可能にし、標準的なバックプロパゲーションと互換性を保つ。
• 各重みを分布（例：正規分布）として表現し、確率的順方向伝播と勾配推定のためのモンテカルロサンプリングを可能にする。
• 重みを単純で圧縮しやすい分布に寄せる正則化効果を持つ圧縮コスト（変分自由エネルギー）を導入し、データをよく説明する分布を促進する。
• 重み事後分布からのモンテカルロサンプリングにより、複数のネットワークを別々に訓練する必要なく、モデルアンサンブルを実現する。
• 非ガウス型の事前分布をサポートし、標準的なディープラーニングフレームワークと互換性があり、GPUを用いた効率的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 微分可能でバックプロパゲーションと互換性のある手法が、深層ニューラルネットワークにおける意味のある重みの不確実性を学習できるか？
• RQ2 変分推論による重みの不確実性が、標準ネットワークと比較して回帰タスクにおける一般化性能を向上させるか？
• RQ3 重みの不確実性が文脈バンディット問題において自然な探索を促進でき、エプソン・グリーディー戦略を上回るか？
• RQ4 Bayes by Backpropの性能は、標準ベンチマークにおいてドロップアウトなどの確立された正則化手法と比較してどうなるか？

主な発見

• Bayes by BackpropはMNISTでドロップアウトと同等のテスト精度を達成し、重みの不確実性による有効な正則化を示した。
• 非線形回帰において、ベイジアンネットワークはデータが少ない領域で予測区間を広くし、不確実性を反映している。これに対して、標準ネットワークは過信した予測を行う。
• マッシュルーム文脈バンディットタスクにおけるベイジアンエージェントは、初期から効果的な探索を実現し、エプソン・グリーディーエージェントよりもはるかに速く近似的な最小レグレットに到達した。
• 5%の探索を実行するエプソン・グリーディーエージェントは過剰に探索し、グリーディーエージェントは初期のポリシーが悪いため探索を始められず、やがて改善するが遅い。
• Bayes by Backpropエージェントは、不確実性に基づく探索がより体系的かつ効率的であることを示し、全期間を通じて低いレグレットを維持した。
• この手法は、標準的なディープラーニングハードウェアと非同期SGDなどの最適化手法を用いて、効率的にスケーリング可能である。