[論文レビュー] Convergence of Langevin MCMC in KL-divergence

Xiang Cheng, Peter L. Bartlett|arXiv (Cornell University)|May 25, 2017

Markov Chains and Monte Carlo Methods参考文献 4被引用数 37

ひとこと要約

本稿は、ポテンシャル関数 U に対して強い凸性と滑らかさの仮定の下で、離散型ランゲヴィン MCMC の Kullback-Leibler (KL) 散発における最初の非漸近的収束速度を確立する。ランゲヴィン拡散を確率空間における勾配流れとして解釈することで、KL 散発における ε の誤差を達成するための ˜O(d/ε) 回の反復計算量が得られ、全変動距離や 2- Wasserstein 距離といったより弱い度合いの指標における収束保証を統一的に扱う。

ABSTRACT

Langevin diffusion is a commonly used tool for sampling from a given distribution. In this work, we establish that when the target density $p^*$ is such that $\log p^*$ is $L$ smooth and $m$ strongly convex, discrete Langevin diffusion produces a distribution $p$ with $KL(p||p^*)\leq ε$ in $ ilde{O}(\frac{d}ε)$ steps, where $d$ is the dimension of the sample space. We also study the convergence rate when the strong-convexity assumption is absent. By considering the Langevin diffusion as a gradient flow in the space of probability distributions, we obtain an elegant analysis that applies to the stronger property of convergence in KL-divergence and gives a conceptually simpler proof of the best-known convergence results in weaker metrics.

研究の動機と目的

• 全変動距離や Wasserstein 距離よりも自然な度合いである KL 散発における離散型ランゲヴィン MCMC の非漸近的収束を確立すること。
• KL 収束をより強い基盤として、複数の度合いにおける収束解析を統一すること。
• 確率空間における勾配流れ構造を活用することで、概念的により単純な証明フレームワークを提供すること。
• 強い凸性が成立しない場合にも拡張し、より弱い仮定の下で新たな境界を提供すること。

提案手法

• KL 散発をポテンシャル関数として用いて、確率分布の空間におけるランゲヴィン拡散を勾配流れとして形式化する。
• 連続時間 SDE (2) の時間離散化版とみなされる離散化されたランゲヴィンアルゴリズム (4) を分析し、離散的な間隔でドリフトを更新する。
• 度合いの微分と連続の方程式を用いて、流れに沿った KL 散発の変化率を評価する。
• KL 散発の減少に関する微分不等式を、ドリフトの差分 ∥∇log pt − ∇log p∗∥L2(pt) の L2 ノルムと関連付ける。
• Gronwall 型の議論とエネルギーに基づく境界を適用し、KL 散発が大きい場合と小さい場合のそれぞれのレジームで収束速度を導出する。
• 既存のモーメント境界（例：補題 11）と密度フローの正則性を活用して、可積分性と有限な度合いの微分を保証する。

実験結果

リサーチクエスチョン

• RQ1 強い凸性と滑らかさの仮定の下で、離散型ランゲヴィン MCMC の収束を、全変動距離や Wasserstein 距離よりも弱い指標ではなく、KL 散発そのもので直接確立できるか？
• RQ2 強い凸性と滑らかさの下で、KL 散発における ε-精度を達成するための最適な反復計算量は何か？
• RQ3 確率空間における勾配流れの解釈が、MCMC 収束解析をどのように単純化するか？
• RQ4 強い凸性が緩和された場合、どのような収束保証が得られるか？
• RQ5 KL 収束が、全変動距離や 2- Wasserstein 距離におけるよりタイトな境界を示唆できるか？

主な発見

• U が m-強い凸性と L-滑らかさを満たす場合、離散型ランゲヴィン MCMC アルゴリズムは ˜O(d/ε) 回の反復で KL(pt∥p∗) ≤ ε を達成する。
• KL 収束は、全変動距離および 2-Wasserstein 距離への収束を示し、従来の結果と同等の反復計算量であるが、より強い度合いでの保証が得られる。
• 証明フレームワークは、KL 収束を主たる結果として導出することにより、複数の度合いにおける収束解析を統一する。
• 強い凸性が成立しない場合のポテンシャルに対しても、[3] よりも次元依存性が良好なが、ε 依存性は従来の研究より劣る収束結果を提供する。
• 流れの度合い微分 |p′_t| は有限であり、連続時間ダイナミクスの適切な定式化を保証し、厳密な離散化誤差境界の導出を可能にする。
• 解析により、KL 散発の減少はドリフト差分の二乗 L2 ノルムに支配され、その結果として微分不等式が得られ、収束速度の導出が可能になる。