[論文レビュー] HMC and underdamped Langevin united in the unadjusted convex smooth case

Gouraud, Nicolaï, Bris, Pierre Le+2 more|arXiv (Cornell University)|Feb 2, 2022

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

この論文は、一般化されたHMCフレームワーク内でハミルトニアンモンテカルロ（HMC）とアンダーダンプドランジュビン動力学を統一し、部分的かつ非ゼロの摩擦を伴う速度リフレッシュメントが、調整なしの凸で滑らかな場合に収束速度を $1/\kappa$ から $1/\sqrt{\kappa}$ に改善することを示している。確率的勾配バージョンについて次元に依存しない収束レートを確立し、慣性を伴うHMCとランジュビンサンプリングの先行研究を拡張・統合した。

ABSTRACT

We consider a family of unadjusted generalized HMC samplers, which includes standard position HMC samplers and discretizations of the underdamped Langevin process. A detailed analysis and optimization of the parameters is conducted in the Gaussian case, which shows an improvement from $1/κ$ to $1/\sqrtκ$ for the convergence rate in terms of the condition number $κ$ by using partial velocity refreshment, with respect to classical full refreshments. A similar effect is observed empirically for two related algorithms, namely Metropolis-adjusted gHMC and kinetic piecewise-deterministic Markov processes. Then, a stochastic gradient version of the samplers is considered, for which dimension-free convergence rates are established for log-concave smooth targets over a large range of parameters, gathering in a unified framework previous results on position HMC and underdamped Langevin and extending them to HMC with inertia.

研究の動機と目的

• 標準HMCとアンダーダンプドランジュビン動力学を含む、未調整の一般化HMC（gHMC）サンプラーを統一的かつ分析すること。
• 条件数 $\kappa$ を持つガウス分布に対して、時間ステップ $\delta$、ステップ数 $K$、摩擦 $\eta$ のパラメータを最適化し、収束速度を向上させること。
• log-concaveで滑らかなターゲットに対して、確率的勾配バージョンの分析を拡張し、次元に依存しない収束レートを達成すること。
• 部分的かつ非ゼロの速度リフレッシュメント（$\eta > 0$）が、条件数 $\kappa$ に関して収束速度を $1/\kappa$ から $1/\sqrt{\kappa}$ に改善することを示すこと。

提案手法

• ハミルトニアン力学と自己回帰的ガウス分布による速度リフレッシュメントを交互に実行する、一般化gHMCフレームワークを提案。
• 分割スキームを用いてダイナミクスをモデル化：時間ステップ $\delta$ で $K$ ステップのVerlet積分を実行し、その後に $v \leftarrow \eta v + \sqrt{1 - \eta^2} G$ による速度リフレッシュメントを実施。
• ガウスターゲットに対する $\mathcal{W}_2$-ウォッシャーライン距離における収束速度を分析し、$\kappa$ と許容誤差 $\varepsilon$ の関数として最適な $\delta$、$K$、$\eta$ を導出。
• カップリングの議論と収縮推定を用いて、確率的勾配バージョンのウォッシャーライン距離をバウンディングし、次元に依存しない収束レートを確立。
• メトロポリス補正付きgHMCおよび運動的ピecewise-deterministicマコフ過程に結果を適用し、部分的リフレッシュメントによる実験的改善を示した。
• 時間ステップのスケーリング $\delta' = \delta \sqrt{L}$ と条件数 $\kappa = L/m$ を用いて、log-convexで滑らかなターゲット全体にわたる分析を統一した。

実験結果

リサーチクエスチョン

• RQ1 最適化された速度リフレッシュメントにより、HMCとアンダーダンプドランジュビンサンプリングの両方の収束速度を向上させうる統一的フレームワークは存在するか？
• RQ2 条件数 $\kappa$ を持つガウスターゲットに対して、未調整gHMCサンプラーの最適な $\delta$、$K$、$\eta$ の選択は何か？
• RQ3 部分的速度リフレッシュメント（$\eta > 0$）は、完全なリフレッシュメント（$\eta = 0$）よりも $\kappa$ に関してより良い収束速度をもたらすか？
• RQ4 慣性を伴うgHMCの確率的勾配バージョンについて、次元に依存しない収束レートを確立できるか？
• RQ5 未調整設定において、gHMCの収束速度は古典的HMCおよびアンダーダンプドランジュビン動力学と比較してどうなるか？

主な発見

• ガウス分布の場合、最適パラメータにより収束速度 $\rho \simeq \frac{\delta'(1 + 1/\sqrt{\kappa})}{\pi} \ln\left(\frac{1}{\varepsilon'}\right)$ を達成し、部分的リフレッシュメントによって $1/\kappa$ から $1/\sqrt{\kappa}$ に改善された。
• 最適時間ステップは $\delta' = \sqrt{8\varepsilon'}$ であり、ステップ数は $K = \left\lfloor \frac{\pi}{\delta'(1 + 1/\sqrt{\kappa})} \right\rfloor$ で、$\eta = \frac{1 - \sin(\pi/(1 + \sqrt{\kappa}))}{\cos(\pi/(1 + \sqrt{\kappa}))}$ である。
• 部分的速度リフレッシュメントにより、収束速度の $\kappa$ 依存性が $1/\kappa$ から $1/\sqrt{\kappa}$ に低下し、劣悪な条件数を持つ問題において顕著な性能向上が達成された。
• 確率的勾配バージョンでは、次元に依存しない収束レートが確立され、log-convexで滑らかなターゲット下で次元 $d$ に依存しない。
• 実験的結果により、メトロポリス補正付きgHMCおよび運動的ピースワイズ決定的マコフ過程において、部分的リフレッシュメントによる改善が確認された。
• 従来の位置HMCおよびアンダーダンプドランジュビンの結果を統合し、慣性付きHMCおよび一般化されたパrameter選択にまで拡張した。