[論文レビュー] Fast mixing of Metropolized Hamiltonian Monte Carlo: Benefits of multi-step gradients

Yuansi Chen, Raaz Dwivedi+2 more|arXiv (Cornell University)|May 29, 2019

Markov Chains and Monte Carlo Methods参考文献 58被引用数 19

ひとこと要約

本稿は、マルチステップのルンゲ・クッタ積分子を用いたメトロポリス適合ハミルトニアンモンテカルロ（HMC）の非漸近的混合時間バウンドを提供し、メトロポリス適合ランダムウォークやランゲビンアルゴリズムと比較してより速い収束を示している。メトロポリス適合HMCは誤差許容度に対して対数的依存性を示すことが確立されており、高次元で強い対数凸性を持つ分布における高次モーメント推定において優れた性能を発揮する。

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a state-of-the-art Markov chain Monte Carlo sampling algorithm for drawing samples from smooth probability densities over continuous spaces. We study the variant most widely used in practice, Metropolized HMC with the Störmer-Verlet or leapfrog integrator, and make two primary contributions. First, we provide a non-asymptotic upper bound on the mixing time of the Metropolized HMC with explicit choices of step-size and number of leapfrog steps. This bound gives a precise quantification of the faster convergence of Metropolized HMC relative to simpler MCMC algorithms such as the Metropolized random walk, or Metropolized Langevin algorithm. Second, we provide a general framework for sharpening mixing time bounds of Markov chains initialized at a substantial distance from the target distribution over continuous spaces. We apply this sharpening device to the Metropolized random walk and Langevin algorithms, thereby obtaining improved mixing time bounds from a non-warm initial distribution.

研究の動機と目的

• メトロポリス適合HMCの混合時間に対する非漸近的上界を、明示的なステップサイズとルンゲ・クッタステップの選択を伴って提供すること。
• 連続状態のマルコフ連鎖において初期分布が暖かくない場合の混合時間バウンドを鋭くする一般枠組みの構築。
• 誤差許容度と次元の観点から、メトロポリス適合HMC、非調整HMC、ODEベースのHMC変種の勾配複雑度を比較すること。
• 高次モーメント推定におけるメトロポリス適合HMCの利点を定量化すること。特に、非調整手法の多項式的依存と比較して、その誤差依存が対数的である点で優位性を示す。

提案手法

• ルンゲ・クッタ積分子を用い、メトロポリス・ハスティングス補正を施したメトロポリス適合HMCの非漸近的混合時間バウンドを導出する。
• 初期分布がターゲットから遠い場合に適用可能な、混合時間バウンドを鋭くする一般的手法を導入する。これは、さまざまなMCMCアルゴリズムに適用可能である。
• 鋭くする枠組みをメトロポリス適合ランダムウォークおよびランゲビンアルゴリズムに適用し、それらの混合時間バウンドを改善する。
• Wasserstein距離および全 Variation 距離の指標を用いて、異なるMCMCサンプラが所定の推定誤差を達成するために必要な勾配評価回数を分析する。
• 誤差許容度および次元依存性に注目し、非調整HMC、ODEベースHMC、メトロポリス適合HMCの勾配複雑度を比較する。
• Lipschitzおよび有界関数の仮定を用いて、Wasserstein距離および全 Variation 距離における誤差バウンドを導出し、それらをモンテカルロ推定誤差に関連付ける。

実験結果

リサーチクエスチョン

• RQ1 メトロポリス適合HMCの混合時間は、次元および誤差許容度の観点から、単純なMCMC手法と比較してどのようにスケーリングされるか？
• RQ2 マルチステップのルンゲ・クッタ積分子が、メトロポリス適合HMCの収束速度に与える影響は何か？
• RQ3 初期分布がターゲットから遠い場合に、混合時間バウンドを改善する一般枠組みを開発可能か？
• RQ4 高次モーメント推定において、メトロポリス適合HMCの勾配複雑度は、非調整HMCおよびODEベースHMCと比較してどう異なるか？
• RQ5 異なるMCMCサンプラにおいて、必要な勾配評価回数は誤差許容度および次元にどのように依存するか？

主な発見

• メトロポリス適合HMCは誤差許容度 $\epsilon$ に対して対数的依存性を示す混合時間バウンドを達成し、$\delta$-精度の推定に $O(d \log(\omega \sqrt{d}/\delta))$ 回の勾配評価が必要である。
• $\omega$-リプシッツ関数に対してはWasserstein誤差バウンドが $J_{\text{Wass}} = \omega \epsilon$、有界関数に対してはTV誤差が $J_{\text{TV}} = B\epsilon$（$B = \omega R$）となる。
• 高次モーメント $g(x) = \|x\|^{1+\nu}$ を推定する場合、メトロポリス適合HMCは $O(d(1+\nu)\log(d/\delta))$ 回の勾配評価を要するが、$\nu > 1$ の場合、非調整HMCの $O(d^{(1+\nu)/2}/\sqrt{\delta})$ より優れている。
• ODEベースHMCは $O(\omega \sqrt{d}/\delta)$ 回の評価を要するが、誤差依存が対数的であるため、$\nu > 1/2$ の場合、メトロポリス適合HMCが優位である。
• 鋭くする枠組みにより、初期分布がターゲットから遠い場合のメトロポリス適合ランダムウォークおよびランゲビンアルゴリズムの混合時間バウンドが改善された。
• 結果として、メトロポリス適合HMCの対数的誤差スケーリングは、非調整HMC変種の多項式的スケーリングに比べて顕著な利点を示し、特に高次元または高次モーメント推定タスクにおいて顕著である。