[論文レビュー] High-Order Langevin Diffusion Yields an Accelerated MCMC Algorithm

Wenlong Mou, Yi-An Ma+3 more|arXiv (Cornell University)|Jan 1, 2021

Markov Chains and Monte Carlo Methods被引用数 38

ひとこと要約

本稿では、高次元の力学と分割積分法を活用することで、より高速な収束を達成する、第三階のランジュバン拡散に基づくMCMCアルゴリズムを提案する。滑らかで対数凸なターゲット、特に一般化線形モデルにおいて、勾配のリプシッツ連続性の下でのみ、ウォッシャー形式距離における$\varepsilon$-精度を$O\left(\frac{d^{1/4}}{\varepsilon^{1/2}}\right)$ステップで達成する。これは、標準的手法に比べて混合時間の顕著な改善を示す。

ABSTRACT

We propose a Markov chain Monte Carlo (MCMC) algorithm based on third-order Langevin dynamics for sampling from distributions with log-concave and smooth densities. The higher-order dynamics allow for more flexible discretization schemes, and we develop a specific method that combines splitting with more accurate integration. For a broad class of $d$-dimensional distributions arising from generalized linear models, we prove that the resulting third-order algorithm produces samples from a distribution that is at most $\varepsilon > 0$ in Wasserstein distance from the target distribution in $O\left(\frac{d^{1/4}}{ \varepsilon^{1/2}} ight)$ steps. This result requires only Lipschitz conditions on the gradient. For general strongly convex potentials with $\alpha$-th order smoothness, we prove that the mixing time scales as $O \left(\frac{d^{1/4}}{\varepsilon^{1/2}} + \frac{d^{1/2}}{\varepsilon^{1/(\alpha - 1)}} ight)$.

研究の動機と目的

• 高次元で対数凸な分布からのサンプリングを目的とした、滑らかさの仮定を最小限に抑えた加速MCMCアルゴリズムの開発。
• 第三階の高次確率的力学を活用して、離散化の精度と収束速度を向上。
• リプシッツ勾配条件および強い凸性条件下で、提案手法の混合時間の厳密な境界を確立。
• 一般化線形モデルおよび一般の強い凸ポテンシャルにおいて、標準の第二階ランジュバンMCMCに比べて収束速度が向上することを実証。

提案手法

• サンプリングプロセスを第三階ランジュバン力学でモデル化し、連続時間拡散のより正確な近似を可能にする。
• 解ける成分に動的システムを分解するための分割積分法を用い、数値的安定性と精度を向上。
• 高次数の台形則と作用素分割を組み合わせた積分スキームにより、離散化誤差を低減。
• 弱い正則性条件のもとで詳細つり合いを維持し、ターゲット分布への収束を保証するようにアルゴリズムを設計。
• 理論的分析にはカップリング論法とリャプノフ関数技術を用い、定常分布とのウォッシャー形式距離をバウンド。
• $\alpha$-次の滑らかさを有する一般の強い凸ポテンシャルおよび一般化線形モデルに本手法を適用。

実験結果

リサーチクエスチョン

• RQ1 標準の第二階手法に比べ、第三階ランジュバン力学はより高速な混合を実現できるか？
• RQ2 リプシッツ勾配条件のみを満たす場合に、高次MCMCアルゴリズムの最適混合時間は何か？
• RQ3 強い凸性と滑らかさの下で、次元$d$と精度$\varepsilon$のスケーリングはどのように変化するか？
• RQ4 分割積分法は、実際の高次ランジュバンMCMCの収束を顕著に改善できるか？

主な発見

• 対数凸で滑らかな密度を有する$d$次元の一般化線形モデルにおいて、本アルゴリズムはウォッシャー形式距離における$\varepsilon$-精度を$O\left(\frac{d^{1/4}}{\varepsilon^{1/2}}\right)$ステップで達成する。
• 収束速度は勾配のリプシッツ連続性に依存するだけで、高次スムーズネスには依存せず、広範なモデルクラスに適用可能である。
• 一般の強い凸ポテンシャル（$\alpha$-次スムーズネス）に対しては、混合時間が$O\left(\frac{d^{1/4}}{\varepsilon^{1/2}} + \frac{d^{1/2}}{\varepsilon^{1/(\alpha - 1)}}\right)$にスケーリングする。
• 第三階の力学により、より柔軟かつ正確な離散化が可能となり、収束に必要なステップ数が削減される。
• 特に高次元設定において、標準の第二階ランジュバンMCMCに比べて収束速度が向上する。