[論文レビュー] Stochastic Gradient Hamiltonian Monte Carlo

Tianqi Chen, Emily B. Fox+1 more|arXiv (Cornell University)|Feb 17, 2014

Markov Chains and Monte Carlo Methods参考文献 23被引用数 352

ひとこと要約

本稿では、大規模およびオンラインデータ向けにスケーラブルなベイズ推論手法として、Stochastic Gradient Hamiltonian Monte Carlo (SGHMC) を提案する。SGHMC は、ハミルトニアン・モンテカルロと確率的勾配を組み合わせたものであり、2次元ランジュバン力学に摩擦項を導入することで、ノイズの多い勾配に対しても正しいターゲット分布を不変測度として維持する。これにより、全データ勾配の計算を必要とせず、効率的で高い受容率のサンプリングが可能になる。

ABSTRACT

Hamiltonian Monte Carlo (HMC) sampling methods provide a mechanism for defining distant proposals with high acceptance probabilities in a Metropolis-Hastings framework, enabling more efficient exploration of the state space than standard random-walk proposals. The popularity of such methods has grown significantly in recent years. However, a limitation of HMC methods is the required gradient computation for simulation of the Hamiltonian dynamical system-such computation is infeasible in problems involving a large sample size or streaming data. Instead, we must rely on a noisy gradient estimate computed from a subset of the data. In this paper, we explore the properties of such a stochastic gradient HMC approach. Surprisingly, the natural implementation of the stochastic approximation can be arbitrarily bad. To address this problem we introduce a variant that uses second-order Langevin dynamics with a friction term that counteracts the effects of the noisy gradient, maintaining the desired target distribution as the invariant distribution. Results on simulated data validate our theory. We also provide an application of our methods to a classification task using neural networks and to online Bayesian matrix factorization.

研究の動機と目的

• 大規模またはストリーミングデータ環境下でのフル勾配ハミルトニアン・モンテカルロ (HMC) の計算上的な非現実性に対処すること。
• ノイズの多い勾配によってターゲット分布が破壊されるため、素朴な確率的勾配 HMC が失敗する理由を調査すること。
• 確率的勾配下でも望ましい事後分布を不変測度として保持するように、HMC フレームワークを修正すること。
• ビッグデータおよびオンラインベイズ推論のシナリオにおいて、効率的で高い受容率の MCMC サンプリングを可能にすること。
• ベイズニューラルネットワークおよびオンライン行列因子分解タスクにおいて、実用的有効性を示すこと。

提案手法

• 全データ勾配の代わりにノイズのあるミニバッチ勾配を用いる確率的勾配 HMC の変種を提案する。
• 2次元ランジュバン力学に摩擦項を導入し、確率的勾配ノイズの影響を相殺する。
• 得られた連続時間ダイナミクスが、ターゲット事後分布を不変測度として保持することを示す。
• メトロポリス・ハスティングス補正の必要性を回避するために、固定された小さなステップサイズを離散化されたダイナミクスで使用する。
• 中心極限定理を応用して勾配ノイズをガウス分布としてモデル化し、理論的分析を可能にする。
• 理論的分析と合成データおよび実世界データを用いた実証的評価を通じて、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜ素朴な確率的勾配 HMC は正しいターゲット分布を維持できないのか？
• RQ2 ランジュバン力学における摩擦項が、確率的勾配下でも望ましい不変分布を回復できるか？
• RQ3 大規模問題において、SGHMC は SGLD や標準 HMC と比べて収束速度と精度でどのように異なるか？
• RQ4 SGHMC は、行列因子分解のようなオンラインベイズ推論タスクに効果的に適用可能か？
• RQ5 SGHMC において、ステップサイズ、計算コスト、サンプリング精度の間のトレードオフは何か？

主な発見

• 素朴な確率的勾配 HMC は、注入されたノイズがハミルトニアン力学を破壊するため、誤った不変分布に至る。
• 2次元ランジュバン力学に提案された摩擦項は、勾配ノイズの影響を効果的に相殺し、ターゲット事後分布を不変測度として保持する。
• MNIST 分類タスクにおけるベイズニューラルネットワークにおいて、SGHMC は SGLD やモーメンタム付き SGD よりも低いテスト誤差に早く収束する。
• Movielens データセットにおけるオンラインベイズ行列因子分解では、SGHMC は予測 RMSE 0.8411 ± 0.0011 を達成し、SGD やモーメンタム付き SGD を上回った。
• SGHMC は SGLD と同等のランタイムを示しながら、同等または優れた性能を達成した。これにより、その効率性とスケーラビリティが裏付けられた。
• 実証的結果から、小さな固定ステップサイズであっても、SGHMC はメトロポリス・ハスティングス補正を必要とせずに良好なサンプリング品質を維持することが示された。