[論文レビュー] Consistency and fluctuations for stochastic gradient Langevin dynamics

Yee Whye Teh, Alexandre H. Thiéry+1 more|arXiv (Cornell University)|Sep 1, 2014

Markov Chains and Monte Carlo Methods参考文献 30被引用数 16

ひとこと要約

本稿は、Stochastic Gradient Langevin Dynamics (SGLD) の厳密な数学的分析を提供し、検証可能な条件下で一貫性および漸近正規性を証明する。最適なステップサイズの系列は $δ_m \asymp m^{-1/3}$ であることが示され、これにより平均二乗誤差の減少率が $Ø(m^{-1/3})$ となる。これは、大規模ベイズ推論における事後分布推定におけるバイアスとバリアンスのバランスをとる。

ABSTRACT

Applying standard Markov chain Monte Carlo (MCMC) algorithms to large data sets is computationally expensive. Both the calculation of the acceptance probability and the creation of informed proposals usually require an iteration through the whole data set. The recently proposed stochastic gradient Langevin dynamics (SGLD) method circumvents this problem by generating proposals which are only based on a subset of the data, by skipping the accept-reject step and by using decreasing step-sizes sequence $(δ_m)_{m \geq 0}$. %Under appropriate Lyapunov conditions, We provide in this article a rigorous mathematical framework for analysing this algorithm. We prove that, under verifiable assumptions, the algorithm is consistent, satisfies a central limit theorem (CLT) and its asymptotic bias-variance decomposition can be characterized by an explicit functional of the step-sizes sequence $(δ_m)_{m \geq 0}$. We leverage this analysis to give practical recommendations for the notoriously difficult tuning of this algorithm: it is asymptotically optimal to use a step-size sequence of the type $δ_m \asymp m^{-1/3}$, leading to an algorithm whose mean squared error (MSE) decreases at rate $\mathcal{O}(m^{-1/3})$

研究の動機と目的

• Stochastic Gradient Langevin Dynamics (SGLD) のための厳密な理論的基盤を確立すること。SGLDは大規模ベイズ推論のスケーラブルなMCMC手法である。
• 検証可能な正則性条件の下で、SGLDが一貫しており、中心極限定理を満たすことを証明すること。
• ステップサイズ系列の明示的な関数を用いて、SGLDの漸近的バイアス・バリアンス分解を特徴付けること。
• 事後推定量の平均二乗誤差 (MSE) を最小化する最適なステップサイズ系列を導出すること。
• 漸近的収束速度に基づいた、SGLDの実用的チューニングガイドラインを提供すること。

提案手法

• 離散のリャプノフ関数アプローチを用いて、ドリフトおよびミニマライゼーション条件の下でSGLD反復のモーメントおよびほとんど確実な有界性を確立する。
• 生成子に基づくアプローチを用いて、SGLDプロセスの無限小生成子を分析し、それと目的の事後分布との関係を特定する。
• 時間スケーリングおよび非一様時間スケールで観察されたSGLDプロセスに対して、拡散極限を導出し、ラングジューイン拡散への収束を示す。
• 適切なモーメントおよび混合条件の下で、SGLDパスの関数の経験的平均に対する中心極限定理を確立する。
• バイアス・バリアンス分解は、ステップサイズ系列 $\delta_m$ の明示的な関数を通じて特徴付けられ、MSEの最適化が可能になる。
• 理論的結果は、線形ガウスモデルおよびロジスティック回帰における数値的実験を通じて検証され、理論的予測が確認された。

実験結果

リサーチクエスチョン

• RQ1 SGLDは、標本数が増加する極限において、どのような条件下で真の事後分布に収束するか？
• RQ2 SGLD推定量の漸近的分布は何か？また、中心極限定理を満たすか？
• RQ3 ステップサイズ系列 $\delta_m$ の選択が、SGLD推定量のバイアスとバリアンスにどのように影響するか？
• RQ4 SGLDにおける事後推定量の平均二乗誤差を最小化する最適なステップサイズの減少率は何か？
• RQ5 SGLDアルゴリズムは、MSEの観点から、証明可能な最適収束率を達成するためにチューニング可能か？

主な発見

• SGLDは、検証可能なモーメントおよびドリフト条件の下で一貫している。これにより、反復回数が増加するにつれて真の事後分布に収束することが保証される。
• SGLD推定量は中心極限定理を満たし、漸近的分散はステップサイズ系列と目的の事後分布の曲率によって特徴付けられる。
• SGLDの漸近的バイアス・バリアンス分解は、ステップサイズ系列 $\delta_m$ の関数として明示的に特徴付けられる。
• 最適なステップサイズ系列は $\delta_m \asymp m^{-1/3}$ であり、これにより事後推定量の平均二乗誤差が最小化される。
• この最適選択のもとで、SGLDの平均二乗誤差は $\mathcal{O}(m^{-1/3})$ の速度で収束する。ステップサイズが減少するため、標準的なモンテカルロ法の $m^{-1/2}$ に比べて遅い。
• 線形ガウスモデルおよびロジスティック回帰モデルにおける数値結果は、一貫性、CLT、最適ステップサイズチューニングに関する理論的予測を確認した。