[論文レビュー] Stochastic Gradient Hamiltonian Monte Carlo with Variance Reduction for Bayesian Inference

Zhize Li, Tianyi Zhang+3 more|arXiv (Cornell University)|Mar 29, 2018

Markov Chains and Monte Carlo Methods参考文献 26被引用数 6

ひとこと要約

本稿では、大規模な設定におけるベイジアン推論を改善するために、分散低減付き確率的勾配ハミルトニアンモンテカルロ（SGHMC）アルゴリズム—SVRG-HMC、SAGA-HMC、およびそれらの2次スプリット型対応（SVRG2nd-HMC、SAGA2nd-HMC）—を提案する。最適化分野の分散低減技術をHMCの運動量項と摩擦項と統合することで、分散低減付きSGLDよりも高速な収束とより良い理論的保証を達成した。実験結果では、ベイジアンニューラルネットワークを用いた回帰および分類タスクにおいて、優れた性能を示した。

ABSTRACT

Gradient-based Monte Carlo sampling algorithms, like Langevin dynamics and Hamiltonian Monte Carlo, are important methods for Bayesian inference. In large-scale settings, full-gradients are not affordable and thus stochastic gradients evaluated on mini-batches are used as a replacement. In order to reduce the high variance of noisy stochastic gradients, Dubey et al. [2016] applied the standard variance reduction technique on stochastic gradient Langevin dynamics and obtained both theoretical and experimental improvements. In this paper, we apply the variance reduction tricks on Hamiltonian Monte Carlo and achieve better theoretical convergence results compared with the variance-reduced Langevin dynamics. Moreover, we apply the symmetric splitting scheme in our variance-reduced Hamiltonian Monte Carlo algorithms to further improve the theoretical results. The experimental results are also consistent with the theoretical results. As our experiment shows, variance-reduced Hamiltonian Monte Carlo demonstrates better performance than variance-reduced Langevin dynamics in Bayesian regression and classification tasks on real-world datasets.

研究の動機と目的

• ハミルトニアンモンテカルロを用いた大規模なベイジアン推論における確率的勾配の高分散を解消すること。
• SGLDに適用された分散低減技術をSGHMCに拡張すること。HMCの運動量項と摩擦項を活用することで収束性を向上させること。
• 対称スプリットを用いた2次スプリット型積分法を導入し、収束性とステップサイズの安定性をさらに向上させること。
• 提案手法を実世界の回帰および分類データセットに対して実験的に検証し、ベースラインのSGHMCおよび分散低減付きSGLDを上回ることを示すこと。
• 分散低減付きHMCが分散低減付きSGLDよりも収束性に優れる理論的根拠を提示すること。

提案手法

• ミニバッチにおける全勾配の累積平均を維持することで、SVRGおよびSAGAの分散低減技術をSGHMCに適応する。
• 非i.i.d.サンプリングのもとで理論的収束保証を有する、SGHMCの分散低減版としてSVRG-HMCおよびSAGA-HMCを導入する。
• 1次スプリット型積分法を対称スプリット法を用いて2次スプリット型に変換し、安定性を向上させるとともにステップサイズ依存性を低減する。
• SGLDの変種と比較して、ステップサイズおよび分散低減の依存性が改善された収束速度の理論的境界を導出する。
• HMCのダイナミクスに運動量項と摩擦項を組み込み、分散低減および対称スプリットによりこれらを保持・強化する。
• TensorFlowを用いてアルゴリズムを実装し、ReLU活性化関数およびガウス事前分布を備えたベイジアンニューラルネットワークを用いてUCIデータセットで評価した。

実験結果

リサーチクエスチョン

• RQ1 運動量項と摩擦項を含むより複雑なダイナミクスを有するSGHMCに対して、最適化分野の分散低減技術を適用できるか。
• RQ2 分散低減を適用した場合、HMCの運動量項と摩擦項がSGLDに比べて理論的収束性に優れるか。
• RQ3 対称スプリット法を用いることで、標準的な積分法と比較して分散低減付きHMCの収束性と安定性がさらに向上するか。
• RQ4 実験的に、分散低減付きHMCアルゴリズムは通常のSGHMCおよび分散低減付きSGLDと比較して収束速度と予測性能に優れているか。
• RQ5 分散低減付きHMCの性能向上は、HMC固有の利点によるものか、それとも分散低減機構によって強化されているのか。

主な発見

• SVRG2nd-HMCおよびSAGA2nd-HMCは、実世界のUCIデータセットにおける回帰および分類タスクで、通常のSGHMCおよびSVRG/SAGA-LDを上回る性能を示した。
• 提案手法はベンチマークと比較して顕著に高速に収束し、複数のデータセットおよびモデルアーキテクチャで一貫した性能差を示した。
• SVRG2nd-HMCは発散を伴わずにやや大きなステップサイズを許容でき、SVRG-HMCに比べて数値的安定性が向上していることを示した。
• 理論的分析により、運動量項と摩擦項のおかげで、分散低減付きHMCの収束速度が分散低減付きSGLDよりも優れていることが確認された。
• SAGA2nd-HMCとSVRG2nd-HMCは類似した性能を示したが、SVRG2nd-HMCは記憶コストが低く、実装がより単純なため好ましいとされた。
• 実験により、分散低減がSGHMCの収束性を顕著に向上させることを確認した。これは、HMCの固有の優位性によるものではなく、分散低減機構が寄与していることを示している。