[論文レビュー] Optimal tuning of the Hybrid Monte-Carlo Algorithm

Alexandros Beskos, Natesh S. Pillai+3 more|arXiv (Cornell University)|Jan 25, 2010

Markov Chains and Monte Carlo Methods参考文献 22被引用数 10

ひとこと要約

この論文は、高次元のターゲット分布におけるハイブリッドモンテカルロ（HMC）アルゴリズムの最適チューニングの理論的枠組みを提供する。積測度設定下でのルンゲ・クッタ積分子の分析を通じて、$ h = l \cdot d^{-1/4} $ のようにステップサイズをスケーリングすることで、$ \mathcal{O}(1) $ の受容確率を維持でき、計算コスト1有効サンプルあたりを最小化する漸近的最適受容確率は 0.651 であると特定する。

ABSTRACT

We investigate the properties of the Hybrid Monte-Carlo algorithm (HMC) in high dimensions. HMC develops a Markov chain reversible w.r.t. a given target distribution $Π$ by using separable Hamiltonian dynamics with potential $-\logΠ$. The additional momentum variables are chosen at random from the Boltzmann distribution and the continuous-time Hamiltonian dynamics are then discretised using the leapfrog scheme. The induced bias is removed via a Metropolis-Hastings accept/reject rule. In the simplified scenario of independent, identically distributed components, we prove that, to obtain an $\mathcal{O}(1)$ acceptance probability as the dimension $d$ of the state space tends to $\infty$, the leapfrog step-size $h$ should be scaled as $h= l imes d^{-1/4}$. Therefore, in high dimensions, HMC requires $\mathcal{O}(d^{1/4})$ steps to traverse the state space. We also identify analytically the asymptotically optimal acceptance probability, which turns out to be 0.651 (to three decimal places). This is the choice which optimally balances the cost of generating a proposal, which {\em decreases} as $l$ increases, against the cost related to the average number of proposals required to obtain acceptance, which {\em increases} as $l$ increases.

研究の動機と目的

• ヒューリスティックな選択が支配的である高次元ベイズ推論問題におけるHMCチューニングの理論的指針を提供すること。
• 大規模次元 $ d $ の極限において、ルンゲ・クッタ積分子下でのHMCの挙動を分析すること。
• 次元 $ d \to \infty $ の極限において、受容確率が一定を保つようにルンゲ・クッタステップサイズ $ h $ がどのようにスケーリングするかを特定すること。
• 有効サンプル1つあたりの計算コストを最小化する漸近的最適受容確率を特定すること。
• RWM や MALA に対して既存の結果と同等の理論的基盤をHMCの効率性に確立すること。

提案手法

• 分析は、i.i.d. 成分を持つターゲット分布 $ \Pi(Q) = \exp(-\sum_{i=1}^d V(q_i)) $ を仮定し、高次元挙動を単純化する。
• HMCアルゴリズムは、ポテンシャル $ -\log \Pi $ に基づくハミルトニアン力学を用い、ボルツマン分布から抽出された運動量変数を追加する。
• 連続時間の力学は、可逆性を保つためにメトロポリス・ハスティングス補正を伴うルンゲ・クッタ（ストルマー＝ヴェルレ）スキームで離散化される。
• $ d \to \infty $ の極限において、受容確率と自己相関積分の両方を焦点にした、漸近的解析を用いたスケーリング極限を導出する。
• 受容確率や自己相関積分といった主要な量は、拡散極限とモーメント推定を用いて分析される。
• 提案生成コストと棄却率の両立を最適化するコスト関数を最小化することで、最適チューニングが導出される。

実験結果

リサーチクエスチョン

• RQ1 高次元HMCにおいて、受容確率を $ \mathcal{O}(1) $ に維持するため、ルンゲ・クッタステップサイズ $ h $ は次元 $ d $ に対してどのようにスケーリングすべきか？
• RQ2 $ d \to \infty $ の極限において、HMCの漸近的最適受容確率は何か？
• RQ3 状態空間内で $ \mathcal{O}(1) $ の移動を達成するために必要なルンゲ・クッタステップ数は、$ d $ に対してどのようにスケーリングするか？
• RQ4 最適受容確率は、特定のポテンシャル $ V $ の形に依存するのか、それともi.i.d. 積測度に対して普遍的か？
• RQ5 高次元において、ステップサイズと受容率のバランスを取ることで、HMCの計算コストを最小化できるか？

主な発見

• 最適なルンゲ・クッタステップサイズは $ h = l \cdot d^{-1/4} $ に比例する。これにより、$ d \to \infty $ の極限において $ \mathcal{O}(1) $ の受容確率が維持される。
• 状態空間内で $ \mathcal{O}(1) $ の移動を達成するために必要なルンゲ・クッタステップ数は $ \mathcal{O}(d^{1/4}) $ に比例する。
• 漸近的最適受容確率は 0.651（小数点以下3桁まで）であり、特定のポテンシャル $ V $ とは無関係に成立する。
• この最適受容確率は、提案コストと棄却率の両立を最適化することで、有効サンプル1つあたりの計算コストを最小化する。
• この結果はi.i.d. 積測度に一般化可能であり、高次元におけるHMCの普遍的チューニングルールを提供する。
• 分析により、HMCは勾配に基づく力学のおかげでランダムウォーク行動を回避し、RWM や MALA とは異なりグローバルな移動を可能にする。