[論文レビュー] Optimal Convergence Rate of Hamiltonian Monte Carlo for Strongly Logconcave Distributions

Zongchen Chen, Santosh Vempala|arXiv (Cornell University)|May 7, 2019

Markov Chains and Monte Carlo Methods参考文献 19被引用数 17

ひとこと要約

この論文は、強い対数凸性を持つ分布に対するハミルトニアン・モンテカルロ（HMC）の最適収束速度を確立し、理想的なHMCの緩和時間は $O(\kappa)$ であり、下界 $ Omega(\kappa)$ と一致することを証明している。また、ほぼ最適なODEソルバーを用いる場合、HMCはステップあたり $ widetilde{O}((\kappa d)^{0.5}\varepsilon^{-1})$ 個の勾配評価を必要とし、2-ウォッシャーライン距離において $\varepsilon$-近似サンプルを取得するまでの総時間は $ widetilde{O}((\kappa d)^{1.5}\varepsilon^{-1})$ であることを示している。

ABSTRACT

We study Hamiltonian Monte Carlo (HMC) for sampling from a strongly logconcave density proportional to $e^{-f}$ where $f:\mathbb{R}^d o \mathbb{R}$ is $μ$-strongly convex and $L$-smooth (the condition number is $κ= L/μ$). We show that the relaxation time (inverse of the spectral gap) of ideal HMC is $O(κ)$, improving on the previous best bound of $O(κ^{1.5})$; we complement this with an example where the relaxation time is $Ω(κ)$. When implemented using a nearly optimal ODE solver, HMC returns an $\varepsilon$-approximate point in $2$-Wasserstein distance using $\widetilde{O}((κd)^{0.5} \varepsilon^{-1})$ gradient evaluations per step and $\widetilde{O}((κd)^{1.5}\varepsilon^{-1})$ total time.

研究の動機と目的

• ハミルトニアン・モンテカルロ（HMC）の強い対数凸性を持つ分布に対する収束速度に関する既知の上界と下界の差を埋めること。
• 条件数 $\kappa = L/\mu$ を持つ $\mu$-強い凸性と $L$-スムーズ性の下で、理想HMCの最適な緩和時間を確立すること。
• ほぼ最適なODEソルバーを用いて実装されたHMCの計算コストを分析し、2-ウォッシャーライン距離における $\varepsilon$-精度を達成するための勾配評価回数と総時間を定量化すること。
• 緩和時間のタイトな上界と下界を提供し、$O(\kappa)$ が最適であることを示すこと。

提案手法

• 数値積分誤差を無視した、ハミルトニアンODE系の正確な解を用いた理想HMCを分析する。
• スペクトルギャップ解析を用いて、HMCマルコフ連鎖の緩和時間 $\tau_{\text{rel}}(P)$ を評価する。
• [9]の結果を応用し、誤差許容値 $\delta$ を $\delta = \sqrt{\mu}T^2\varepsilon/16$ とすることで、近似を制御する。
• 軌道の2階微分の区分的定数近似を用いて、ODEソルバーの複雑さを評価する。
• コーシー＝シュワルツとガウス型速度・勾配のモーメントバウンドを用いて、1ステップあたりの期待勾配評価回数を制御する。
• 複雑さ解析における対数因子を考慮するため、$\nwidetilde{O}$-表記を用いる。

実験結果

リサーチクエスチョン

• RQ1 条件数 $\kappa$ を持つ強い対数凸性を持つ分布に対する理想HMCの最適な緩和時間は何か？
• RQ2 HMCの緩和時間に対する $O(\kappa^{1.5})$ 上界を $O(\kappa)$ に改善できるか？
• RQ3 $O(\kappa)$ のバウンドはタイトか、それ以上に小さくできるか？
• RQ4 ほぼ最適なODEソルバーを用いたHMCの計算コストは、勾配評価回数と総時間の観点でどのように定量化できるか？
• RQ5 勾配評価回数は次元 $d$、条件数 $\kappa$、誤差許容値 $\varepsilon$ に対してどのようにスケーリングするか？

主な発見

• 理想HMCの緩和時間は $O(\kappa)$ であり、以前の最良のバウンド $O(\kappa^{1.5})$ よりも改善されている。
• 緩和時間が $\Omega(\kappa)$ である例を構築し、$O(\kappa)$ が最適であることを証明している。
• ほぼ最適なODEソルバーを用いる場合、HMCはステップあたり $ widetilde{O}((\kappa d)^{0.5}\varepsilon^{-1})$ 個の勾配評価を必要とする。
• 総時間の時間計算量は、2-ウォッシャーライン距離における $\varepsilon$-精度を達成するまでに $ widetilde{O}((\kappa d)^{1.5}\varepsilon^{-1})$ である。
• 1ステップあたりの平均勾配評価コストは、$O\left(\frac{\sqrt{\kappa d}}{\varepsilon}\log\left(\frac{\kappa d}{\varepsilon}\right)\right)$ で有界である。
• 解析により、$O(\kappa)$ の緩和時間バウンドがタイトであることが確認され、強い対数凸性のターゲットに対するHMC収束速度の理論的ギャップが閉じられた。