[論文レビュー] High-dimensional MCMC with a standard splitting scheme for the underdamped Langevin

Pierre Monmarché|arXiv (Cornell University)|Jul 10, 2020

Markov Chains and Monte Carlo Methods被引用数 3

ひとこと要約

本稿では、1回の反復あたり1回の勾配計算のみを要する標準的な2次スプリット積分法を用いた、非定常ラングジューイン拡散に基づく高次元マルコフ連鎖モンテカルロ（MCMC）サンプラーを提案する。 Wasserstein距離の次元に依存しない収縮性と、全変動距離およびWasserstein距離の非漸近的収束速度を確立し、滑らかさの異なる仮定のもとで、それぞれ $σ{d}/\varepsilon$、$σ{d/\varepsilon}$、$d^{1/4}/\sqrt{\varepsilon}$ のスケーリングを示す。これはHMCおよび運動的ラングジューインスキームの既知の性能と一致する。

ABSTRACT

The efficiency of a markov sampler based on the underdamped Langevin diffusion is studied for high dimensionial targets with convex and smooth potentials. We consider a classical second-order integrator which requires only one gradient computation per iteration. Contrary to previous works on similar samplers, a dimension-free contraction of Wasserstein distances and convergence rate for the total variance distance are proved for the discrete time chain itself. Non-asymptotic Wasserstein and total variation efficiency bounds and concentration inequalities are obtained for both the Metropolis adjusted and unadjusted chains. In terms of the dimension $d$ and the desired accuracy $\varepsilon$, the Wasserstein efficiency bounds are of order $\sqrt d / \varepsilon$ in the general case, $\sqrt{d/\varepsilon}$ if the Hessian of the potential is Lipschitz, and $d^{1/4}/\sqrt\varepsilon$ in the case of a separable target, in accordance with known results for other kinetic Langevin or HMC schemes.

研究の動機と目的

• 対数凸で滑らかかつ凸なターゲットに対して、効率的な高次元MCMCサンプラーを開発すること。
• 高次元における非定常ラングジューイン拡散の標準的2次スプリットスキームの収束特性を分析すること。
• 未調整およびメトロポリス補正付きの両方のチェインに対して、Wasserstein距離および全変動距離の非漸近的境界を確立すること。
• 次元 $d$ および精度 $\varepsilon$ に最適にスケーリングする効率境界を導出すること。これはHMCおよび運動的ラングジューイン手法の既知の結果と一致する。

提案手法

• 非定常ラングジューインスデの離散化に2次スプリット積分法を用い、1反復あたり1回の勾配評価でみられる。
• 非定常スデの構造を活用して、高次元サンプリングにおける安定性と精度を確保する。
• 収束は離散時間マルコフ連鎖そのものに対して、極限においてではなく、直接的にWasserstein距離の収縮を証明する。
• 未調整およびメトロポリス補正付きの両方のチェインに対して、非漸近的集中不等式および全変動距離の境界を導出する。
• Lipschitzヘッセ条件を含む、凸で滑らかなポテンシャルの性質に依拠して、次元依存の効率境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 離散時間非定常ラングジューインチェインの高次元設定における収束速度は何か？
• RQ2 未調整チェインに対して、Wasserstein距離の次元に依存しない収縮性は確立できるか？
• RQ3 滑らかさの異なる仮定のもとで、次元 $d$ およびターゲットの精度 $\varepsilon$ に応じた効率境界のスケーリングはどのように変化するか？
• RQ4 HMCおよび他の運動的ラングジューインサンプラーとの性能境界は、どのように比較できるか？

主な発見

• スプリットスキームに基づく離散時間マルコフ連鎖は、Wasserstein距離の次元に依存しない収縮性を示す。
• 未調整およびメトロポリス補正付きの両方のチェインに対して、全変動距離の非漸近的境界が確立される。
• 一般ケースではWasserstein効率境界は $\sqrt{d}/\varepsilon$ に比例し、ポテンシャルのヘッセ行列がLipschitz条件を満たす場合には $\sqrt{d/\varepsilon}$、分離可能なターゲットでは $d^{1/4}/\sqrt{\varepsilon}$ に比例する。
• これらの効率境界は、HMCおよび運動的ラングジューインスキームの既知の最適スケーリングと一致しており、本手法の競争力が裏付けられる。