[論文レビュー] Faster Hamiltonian Monte Carlo by Learning Leapfrog Scale

Changye Wu, Julien Stoehr+1 more|arXiv (Cornell University)|Oct 10, 2018

Markov Chains and Monte Carlo Methods参考文献 1被引用数 13

ひとこと要約

この論文は、NUTSのバーニングフェーズ中に得られるルンゲ・クッタ法の統計的分布を学習することで、HMCにおけるステップ数$L$を自動的に選択する、拡張されたハミルトニアンモンテカルロ（eHMC）アルゴリズムを提案する。この手法により、サンプリング効率が著しく向上する。NUTSの計算コストの高い再帰的パス構築を、推定された分布からキャリブレーションされたランダムな$L$に置き換えることで、eHMCは最小限のチューニングで、NUTSや標準HMCよりも高い有効サンプルサイズ（ESS）と低いコルモゴロフ・スミルノフ距離を達成する。

ABSTRACT

Hamiltonian Monte Carlo samplers have become standard algorithms for MCMC implementations, as opposed to more basic versions, but they still require some amount of tuning and calibration. Exploiting the U-turn criterion of the NUTS algorithm (Hoffman and Gelman, 2014), we propose a version of HMC that relies on the distribution of the integration time of the associated leapfrog integrator. Using in addition the primal-dual averaging method for tuning the step size of the integrator, we achieve an essentially calibration free version of HMC. When compared with the original NUTS on several benchmarks, this algorithm exhibits a significantly improved efficiency.

研究の動機と目的

• NUTSの計算オーバーヘッドを低減する。NUTSは不要なバックトラッキングやパス拡張に無駄な計算を費やす。
• NUTSからの経験的データを用いて、手動のキャリブレーションを必要としない、$L$の自動選択が可能なHMCの変種を開発する。
• ターゲットの幾何構造を反映する最適な$L$値の分布を学習することで、HMCのサンプリング効率を向上させる。
• 学習された分布に基づくランダムな$L$選択が、固定値やNUTS風の適応的$L$選択よりもESSと収束性において優れていることを実証する。

提案手法

• この手法は、NUTSバーニングフェーズ中に観測された最長のルンゲ・クッタパス長の経験的分布$\hat{P}_{\mathcal{L}}$を学習する。
• 各HMC反復において、再帰的二重化による適応的パス構築ではなく、$\hat{P}_{\mathcal{L}}$からランダムに$L$を抽出する。
• ステップサイズ$\epsilon$はプライマル・デュアル平均化を用いてチューニングされ、手動のキャリブレーションなしに自動適応が保証される。
• メトロポリス・ハスティングスの受容ステップを維持することで、正確なターゲット分布が保たれる。
• 事前に学習された効率的パス長の分布を用いることで、NUTSのパスの再走行を回避する。
• 標準HMCフレームワークに統合され、NUTSのパス探索ロジックが学習済みの$L$サンプリング戦略に置き換えられる。

実験結果

リサーチクエスチョン

• RQ1 NUTSから最適なルンゲ・クッタ統合時間の分布を学習することで、HMCの効率が向上するか？
• RQ2 NUTSの再帰的パス拡張を、学習済みのランダム$L$選択に置き換えることで、計算の無駄を減らしつつ混合性能を維持または向上できるか？
• RQ3 キャリブレーションフリーなHMCバージョンが、NUTSよりも高い有効サンプルサイズ（ESS）と低い推定誤差を達成できるか？
• RQ4 提案されたeHMCの性能は、ESSと収束指標においてNUTSや標準HMCと比較してどうなるか？

主な発見

• eHMCはNUTSに比べて顕著に高い有効サンプルサイズ（ESS）を達成し、$\beta$のESSが$16.2 \times 10^{-3}$（NUTSは$6.26 \times 10^{-3}$）である。
• 同じ計算コストにおいて、eHMCはNUTSに比べ最大30%、prHMCに比べ20%のコルモゴロフ・スミルノフ（KS）距離を低減した。
• 勾配評価1回あたりのKS距離が低く、ESSが高いため、同じ精度に到達するためのシミュレーション回数が少なくなる。
• 性能向上の要因は、グローバルに適切な$L$値の選択と、NUTSのパス拡張オーバーヘッドを回避したことの両方にある。
• eHMCは、$L$を各反復で最適化しないにもかかわらず、ESSと期待平方ジャンプ距離（ESJD）の両面でNUTSを上回った。
• NUTSバーニングデータから$L$を学習することで、ロバストで効率的かつキャリブレーションフリーなHMCの代替手段が得られることを示した。