[論文レビュー] On the convergence of Hamiltonian Monte Carlo

Alain Durmus, Éric Moulines+1 more|arXiv (Cornell University)|Apr 29, 2017

Markov Chains and Monte Carlo Methods参考文献 23被引用数 42

ひとこと要約

この論文は、ポテンシャル関数 $U$ に対して緩い条件下でハミルトニアン・モンテカルロ（HMC）アルゴリズムの幾何的エルゴドリシティを確立し、非可約性、再帰性、ハリス再帰性を証明する。幾何的収束を保証する検証可能な条件を提供し、先行研究を拡張し、最近の分野の研究と比較しても優位性を示す。

ABSTRACT

This paper discusses the irreducibility and geometric ergodicity of the Hamiltonian Monte Carlo (HMC) algorithm. We consider cases where the number of steps of the symplectic integrator is either fixed or random. Under mild conditions on the potential $\F$ associated with target distribution $π$, we first show that the Markov kernel associated to the HMC algorithm is irreducible and recurrent. Under more stringent conditions, we then establish that the Markov kernel is Harris recurrent. Finally, we provide verifiable conditions on $\F$ under which the HMC sampler is geometrically ergodic.

研究の動機と目的

• ポテンシャル関数 $U$ に対して緩い条件下で HMC マルコフ核の非可約性と再帰性を確立すること。
• より厳しい $U$ の条件下で HMC 核のハリス再帰性を証明すること。
• HMC サンプラーの幾何的エルゴドリシティを保証する $U$ に関する検証可能な条件を導出すること。
• 本論文の仮定を最近の研究 [15] および [5] の仮定と比較すること。

提案手法

• HMC アルゴリズムを、拡張された位相空間 $\mathbb{R}^{2d}$ 上でのハミルトニアン力学に基づくメトロポリス・ハスティングスサンプラーとして分析する。
• 体積とエネルギーを保存するシンプレクティック積分法を用いて、ハミルトニアンフロー $\varphi_t$ をシミュレートする。
• $S$-反転対称性（運動量反転対称性）を適用して詳細釣合の成立を保証し、メトロポリス受容確率を正しく得る。
• ハミルトニアンフローの性質を用いて、任意の初期状態から任意のターゲット集合へ到達可能な経路の存在を示し、非可約性を確立する。
• マーカフ連鎖理論の結果、特に非可約性と調和関数解析を応用してハリス再帰性を証明する。
• リャプノフ関数と $U$ の尾部挙動を用いて、ドリフトおよびミニマライゼーション条件を導出し、幾何的エルゴドリシティの検証を行う。

実験結果

リサーチクエスチョン

• RQ1 ポテンシャル関数 $U$ に対してどのような条件下で HMC マルコフ核は非可約になるか？
• RQ2 HMC カーネルはいつ再帰的またはハリス再帰的になるか？
• RQ3 $U$ に対してどのような検証可能な条件が HMC サンプラーの幾何的エルゴドリシティを保証するか？
• RQ4 本論文の仮定は [15] および [5] の仮定とどのように比較できるか？

主な発見

• $U$ に対して $C^1$-滑らかさと成長条件が満たされれば、HMC カーネルは緩い条件下で非可約かつ再帰的である。
• $U$ がより強い正則性と成長条件を満たす場合、特に $\|\nabla U(q)\|$ の挙動に関与する条件下で、ハリス再帰性が確立される。
• $U$ の尾部挙動を制御する条件下で幾何的エルゴドリシティが証明され、たとえば $\|\nabla U(q)\| \geq c\|q\|^{\gamma}$（$\gamma > 1$ かつ $\|q\|$ が大きい場合）が成り立つ。
• 本論文は、幾何的エルゴドリシティを保証する $U$ に関する明示的かつ検証可能な条件を提供しており、ヘッシアンの境界と勾配の成長に関する条件を含む。
• 仮定が [15] や [5] よりも弱いか、より一般的であることが示され、特に必要な滑らかさと尾部挙動の点で優位性を示す。
• 解析により、導出された条件下で HMC サンプラーがターゲット分布 $\pi$ へ幾何的に収束することが確認され、高速な混合と信頼性の高い推論が保証される。