[論文レビュー] Underdamped Langevin MCMC: A non-asymptotic analysis

Xiang Cheng, Niladri S. Chatterji+2 more|arXiv (Cornell University)|Jul 12, 2017

Markov Chains and Monte Carlo Methods参考文献 22被引用数 98

ひとこと要約

本論文は、強く対数凹なターゲットに対する欠落減衰 Langevin MCMCを分析し、2-ワッサースタイン距離で非漸近収束を証明し、イテレーション数を O(√d/ε) として示す。

ABSTRACT

We study the underdamped Langevin diffusion when the log of the target distribution is smooth and strongly concave. We present a MCMC algorithm based on its discretization and show that it achieves $\varepsilon$ error (in 2-Wasserstein distance) in $\mathcal{O}(\sqrt{d}/\varepsilon)$ steps. This is a significant improvement over the best known rate for overdamped Langevin MCMC, which is $\mathcal{O}(d/\varepsilon^2)$ steps under the same smoothness/concavity assumptions. The underdamped Langevin MCMC scheme can be viewed as a version of Hamiltonian Monte Carlo (HMC) which has been observed to outperform overdamped Langevin MCMC methods in a number of application areas. We provide quantitative rates that support this empirical wisdom.

研究の動機と目的

• log-smooth, strongly convex targets を underdamped Langevin diffusion（2次元、ハミルトン型プロセス）でサンプリングする動機付け。
• 離散化アルゴリズムが不変分布へ収束する非漸近的保証を、2-Wasserstein 距離で提供。
• 同じ滑らかさ/凸性の仮定下で、過度に減衰 Langevin MCMC よりも既知の収束速度を改善。
• ノイズのある勾配情報に対する安定性と収束を調査。
• Hamiltonian Monte Carlo との関連性と最適化の加速概念への橋渡しを行う。

提案手法

• dv_t = -γ v_t dt - u∇f(x_t) dt + sqrt(2γu) dB_t による連続時間欠落減衰 Langevin 拡散をモデル化し、dx_t = v_t dt、定常分布 p*(x,v) ∝ exp(-(f(x)+||v||^2/(2u)))。
• SDE を離散化して、ステップ δ を用いた具体的な欠落減衰 Langevin MCMC アルゴリズム（Algorithm 1）を得る。γ=2, u=1/L。
• 連続時間過程の W2 での指数収縮を証明する（定理 5 および 系列論 7）。
• 連続と離散過程の離散化誤差を界定する（定理 9）。
• 収束と离散化の界を組み合わせて、離散化アルゴリズムの W2 における非漸近収束を導出する（定理 1）。
• 確率勾配と有界勾配分散の設定へ結果を拡張する（定理 3）。

実験結果

リサーチクエスチョン

• RQ1 強く対数凹なターゲットのサンプリングに対して欠落減衰 Langevin ダイナミクスは非漸近的収束保証を提供できるか？
• RQ2 欠落減衰 Langevin MCMC の離散化での有限時間（ステップ制限付き）2-Wasserstein 距離の収束速度はどのようになるか？
• RQ3 同じ滑らかさ/凸性の仮定下で、過度減衰 Langevin と比較して次元と精度はどうなるか？
• RQ4 ノイズのある勾配推定は収束速度にどう影響し、保証をどう維持するか？

主な発見

• 離散化された欠落減衰 Langevin MCMC は f の滑らかさと強い凸性の下で W2 誤差が ≤ ε となるステップ数を O(√d/ε) で達成する。
• 同じ仮定の下で過度減衰 Langevin MCMC が要求する O(d/ε^2) ステップよりこの速度は改善される。
• 連続時間の欠落減衰 Langevin 拡散は、適切なパラメータ選択の下、 invariant 分布への W2 収束を指数的に示す。
• 連続と離散ダイナミクス間の離散化誤差は制御され、全体の誤差界に定積的に寄与する。
• 勾配分散が有界な確率的勾配を用いた場合でも、非漸近的収束保証は明示的なステップサイズ選択と共に成り立つ。
• 理論的結果は MCMC の加速を二次量子ダイナミクスへ結びつけ、最適化の加速手法と類似の直感を共有する。