[論文レビュー] A Complete Recipe for Stochastic Gradient MCMC

Yi-An Ma, Tianqi Chen+1 more|arXiv (Cornell University)|Jun 15, 2015

Markov Chains and Monte Carlo Methods参考文献 20被引用数 197

ひとこと要約

本稿では、正定値の拡散行列と歪対称の回転行列の2つの行列を用いて、正しいターゲット分布を不変測度として保証する、包括的で一般化された確率的勾配MCMCサンプラーの構築フレームワークを提案する。この手法により、既存の連続的ダイナミクスMCMCサンプラーが統一され、新たなサンプラー（例：SGRHMC）の体系的導出が可能となり、合成データおよびストリーミングWikipediaデータにおいて、より高い効率性とスケーラビリティを示した。

ABSTRACT

Many recent Markov chain Monte Carlo (MCMC) samplers leverage continuous dynamics to define a transition kernel that efficiently explores a target distribution. In tandem, a focus has been on devising scalable variants that subsample the data and use stochastic gradients in place of full-data gradients in the dynamic simulations. However, such stochastic gradient MCMC samplers have lagged behind their full-data counterparts in terms of the complexity of dynamics considered since proving convergence in the presence of the stochastic gradient noise is non-trivial. Even with simple dynamics, significant physical intuition is often required to modify the dynamical system to account for the stochastic gradient noise. In this paper, we provide a general recipe for constructing MCMC samplers--including stochastic gradient versions--based on continuous Markov processes specified via two matrices. We constructively prove that the framework is complete. That is, any continuous Markov process that provides samples from the target distribution can be written in our framework. We show how previous continuous-dynamic samplers can be trivially "reinvented" in our framework, avoiding the complicated sampler-specific proofs. We likewise use our recipe to straightforwardly propose a new state-adaptive sampler: stochastic gradient Riemann Hamiltonian Monte Carlo (SGRHMC). Our experiments on simulated data and a streaming Wikipedia analysis demonstrate that the proposed SGRHMC sampler inherits the benefits of Riemann HMC, with the scalability of stochastic gradient methods.

研究の動機と目的

• ノイズの多い勾配に起因する不正確な不変分布を維持する確率的勾配MCMCサンプラーを構築する課題に対処すること。
• HMC、SGLD、SGHMCなどの多様な連続的ダイナミクスMCMC手法を、一貫した数学的枠組みで統一すること。
• 物理的・幾何的直感に依存しない、正しい性質を保証する新たなMCMCサンプラーの設計のための構成的レシピを提供すること。
• フレームワークの包括性を活用して、ステート適応型のサンプラー（例：stochastic gradient Riemann Hamiltonian Monte Carlo (SGRHMC)）の開発を可能にすること。
• 高次元およびストリーミングデータに対して、提案フレームワークの実用的スケーラビリティと効率性を示すこと。具体的には、潜在ディリクレ割り当て（LDA）を用いたWikipediaトピックモデリングの実世界応用を含む。

提案手法

• モデルパラメータと補助変数を含む $\mathbf{z} = (\theta, r)$ における連続的マルコフ過程を、正定値の拡散行列 $\mathbf{D}(\mathbf{z})$ と歪対称の回転行列 $\mathbf{Q}(\mathbf{z})$ の2つの行列を用いて形式化する。
• ターゲット分布とこれらの2つの行列を明示的に定義することで、SDEのダイナミクスを定義し、望ましい定常分布が達成されることを保証する。
• フレームワークの完全性を証明する：任意の目的の不変分布を持つ連続的マルコフ過程は、この形式で表現可能であり、逆に、この形式で表現可能なすべての過程は、目的の不変分布を持つ。
• 全データ勾配をデータサブセットからの確率的勾配に置き換えることで、全データおよびミニバッチバージョンのサンプラーを構築する。
• 適切な $\mathbf{D}(\mathbf{z})$ と $\mathbf{Q}(\mathbf{z})$ 行列を指定することにより、フレームワークを用いて新たなサンプラー（例：SGRHMC）を体系的に導出し、検証する。
• 実用的応用における正の値の維持と数値的安定性を確保するため、境界反射およびパラメータ化技術（例：ディリクレ事前分布の拡張平均）を実装する。

実験結果

リサーチクエスチョン

• RQ1 正しいターゲット分布を保証する、一般的で体系的なフレームワークを、確率的勾配MCMCサンプラーの構築に用いることができるか？
• RQ2 SGLD、SGHMC、リーマンHMCなどの既存のMCMCサンプラーが、単一の数学的構造によってどれほど統一され、再導出可能か？
• RQ3 フレームワークを用いることで、恣意的な修正なしに、効率的な新たなサンプラー（例：stochastic gradient Riemann Hamiltonian Monte Carlo (SGRHMC)）を設計可能か？
• RQ4 幾何的（リーマン）プリコンディショニングとハミルトニアンダイナミクスの両方を組み込むことで、相関の高い高次元事後分布におけるサンプリング効率にどのような影響を与えるか？
• RQ5 大規模かつストリーミングデータ（例：潜在ディリクレ割り当てを用いたWikipediaトピックモデリング）において、提案フレームワークの実証的性能はいかがなものか？

主な発見

• 提案されたフレームワークは完全性を有する：望ましい不変分布を持つ任意の連続的マルコフ過程は、$\mathbf{D}(\mathbf{z})$ と $\mathbf{Q}(\mathbf{z})$ の2行列形式で表現可能である。
• SGLD、SGHMC、リーマンHMCなどの既存のサンプラーは、それぞれの対応する $\mathbf{D}(\mathbf{z})$ と $\mathbf{Q}(\mathbf{z})$ 行列を特定することで、このフレームワーク内で容易に再導出可能である。
• 提案されたSGRHMCサンプラーは、リーマン幾何学的性質とハミルトニアンダイナミクスの両方の利点を統合し、相関の高い高次元事後分布において、混合効率を顕著に向上させた。
• 合成データにおいて、SGRHMCはSGLDやSGHMCよりも、複雑で相関の高い分布をより速く探索し、収束が速く、混合性能に優れた。
• 潜在ディリクレ割り当て（LDA）を用いたWikipediaストリーミング解析において、SGRHMCはSGLD、SGHMC、SGRLDと比較して、より低いパープレキシティと競争力のある実行時間を達成し、スケーラビリティと頑健性を示した。
• 100ドキュメントあたりの平均実行時間はSGRHMCで0.806秒であり、他の手法と同等であった。これにより、新規サンプラーの計算オーバーヘッドは管理可能であることが示された。