[論文レビュー] Scaling Hamiltonian Monte Carlo Inference for Bayesian Neural Networks with Symmetric Splitting

Adam D. Cobb, Brian Jalaian|arXiv (Cornell University)|Oct 13, 2020

Markov Chains and Monte Carlo Methods被引用数 23

ひとこと要約

本稿では、バーチャルニューラルネットワーク（BNN）におけるフルバッチHMC推論を、確率的勾配に依存せずに可能にする、ハミルトニアンモンテカルロ（HMC）のための新規対称分割統合スキームを提案する。この手法は、確率的勾配MCMCよりも精度および不確実性の定量化において優れた性能を発揮し、単一のGPU上で効率的にスケーリングされ、先行する分割手法を上回る。

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a Markov chain Monte Carlo (MCMC) approach that exhibits favourable exploration properties in high-dimensional models such as neural networks. Unfortunately, HMC has limited use in large-data regimes and little work has explored suitable approaches that aim to preserve the entire Hamiltonian. In our work, we introduce a new symmetric integration scheme for split HMC that does not rely on stochastic gradients. We show that our new formulation is more efficient than previous approaches and is easy to implement with a single GPU. As a result, we are able to perform full HMC over common deep learning architectures using entire data sets. In addition, when we compare with stochastic gradient MCMC, we show that our method achieves better performance in both accuracy and uncertainty quantification. Our approach demonstrates HMC as a feasible option when considering inference schemes for large-scale machine learning problems.

研究の動機と目的

• 大規模データにおけるベイジアンニューラルネットワーク（BNN）におけるハミルトニアンモンテカルロ（HMC）のスケーラビリティの限界を、完全なハミルトニアンを維持することで解決すること。
• 従来の非対称またはランダム化された分割手法よりも、ロバスト性および効率性を向上させる対称分割統合スキームを開発すること。
• ミニバッチや確率的近似を用いずに、標準的なディープラーニングアーキテクチャ上で完全なHMC推論を実現すること。
• 完全HMCに伴う対称分割が、不確実性定量化および分類精度の面で確率的勾配MCMCを上回ることを示すこと。
• 広範な採用を促進するため、hamiltorch Pythonパッケージを通じたユーザーフrndリーンな実装を提供すること。

提案手法

• 時間反転対称性とエネルギー保存を維持する対称分割統合スキームを、分割HMCに提案し、数値的安定性を向上させる。
• データサブセットに基づいてハミルトニアンを2つに分割し、それぞれを解析的または効率的な数値的統合が可能にする。
• 確率的勾配を避けることで、単一GPU上でフルバッチHMCを実行し、対称分割により長い軌道長を実現する。
• ハミルトニアン系のシンプレクティック構造を保つために、対称更新を用いたループフロッグ統合器を採用する。
• ミニバッチや確率的近似を一切使用せず、全データ尤度を用いてディープニューラルネットワークに適用する。
• 実行可能性と再現性を高めるために、hamiltorchライブラリにこの手法を統合する。

実験結果

リサーチクエスチョン

• RQ1 非対称またはランダム化された分割手法よりも、サンプリング効率および精度の面で優れる対称分割スキームをHMCに設計可能か？
• RQ2 対称分割を用いたフルバッチHMCは、ベイジアンニューラルネットワークにおいて、確率的勾配MCMCよりも優れた不確実性定量化を達成できるか？
• RQ3 ミニバッチや確率的近似を一切用いずに、大規模データセットおよび標準的なディープラーニングアーキテクチャに効率的にスケーリング可能なHMCは可能か？
• RQ4 高次元パrameter空間における収束性および混合性の観点から、この対称分割スキームは先行する分割手法と比べてどのように差がつくか？
• RQ5 実世界の応用、例えば音響的車両分類の分野において、提案手法は分類精度および不確実性キャリブレーションをどの程度向上させるか？

主な発見

• 提案された対称分割HMC手法は、特に高次元BNNにおいて、従来の分割手法よりも優れたサンプリング効率およびロバスト性を達成した。
• 音響的車両分類タスクにおいて、分類精度および不確実性定量化の両面で、確率的勾配MCMCを上回った。
• 対称分割HMCは、誤分類されたサンプルに対して低い信頼度スコアを生成し、SGHMCがすべての予測で高い相互情報量を示したのとは対照的に、より優れた不確実性キャリブレーションを示した。
• 本手法により、単一GPU上で全データセットを用いた完全HMC推論が可能となり、大規模ディープラーニング応用への実現可能性を示した。
• 混同行列の分析から、対称分割HMCは、不確実性の観点から正しい予測と誤った予測の区別が明確であり、誤分類に対して高い相互情報量を示した。
• 本手法はHMCの優れた探索特性を維持し、深層ネットワークにおける複雑な事後分布を効果的にサンプリングするための長い軌道長を可能にした。