[論文レビュー] Hybrid Monte Carlo methods for sampling probability measures on submanifolds

Tony Lelièvre, Mathias Rousset+1 more|arXiv (Cornell University)|Jul 6, 2018

Markov Chains and Monte Carlo Methods参考文献 37被引用数 41

ひとこと要約

本稿では、メトロポリス・ハスティングス補正ステップに逆投影チェックを統合することで、部分多様体上の確率測度をサンプリングする一般化されたハイブリッドモンテカルロ（GHMC）手法を提案する。この手法は詳細釣合の条件を満たし、離散化誤差によるバイアスを排除する。特に、積分子の可逆性が破れるほど大きなタイムステップを用いる場合に、逆チェックが精度と効率の両面で不可欠であることが数値実験で示された。

ABSTRACT

Probability measures supported on submanifolds can be sampled by adding an extra momentum variable to the state of the system, and discretizing the associated Hamiltonian dynamics with some stochastic perturbation in the extra variable. In order to avoid biases in the invariant probability measures sampled by discretizations of these stochastically perturbed Hamiltonian dynamics, a Metropolis rejection procedure can be considered. The so-obtained scheme belongs to the class of generalized Hybrid Monte Carlo (GHMC) algorithms. We show here how to generalize to GHMC a procedure suggested by Goodman, Holmes-Cerfon and Zappa for Metropolis random walks on submanifolds, where a reverse projection check is performed to enforce the reversibility of the algorithm for large timesteps and hence avoid biases in the invariant measure. We also provide a full mathematical analysis of such procedures, as well as numerical experiments demonstrating the importance of the reverse projection check on simple toy examples.

研究の動機と目的

• 離散化誤差によるバイアスなしに、部分多様体上の確率測度をサンプリングする一般化されたハイブリッドモンテカルロ（GHMC）アルゴリズムの開発。
• グッドマンら（2018）の逆投影チェック技術を、非ゼロの勾配力を持つGHMCスキームへ拡張すること。
• 任意のタイムステップに対して、部分多様体上でのGHMC離散化の可逆性特性を数学的に形式化すること。
• 数値的に、逆投影チェックがバイアスのないサンプリングに不可欠であることを示すこと。特に、タイムステップが大きくなりすぎて元の積分子の可逆性が破れる場合に有効である。
• 不変測度およびサンプリング効率に及ぼす可逆性チェックの影響を包括的に分析すること。

提案手法

• 制約付きハミルトニアン力学の積分子（例：RATTLE）を用いた提案ステップを備えたGHMCスキームを導入。運動量の再サンプリングも実施。
• 初期状態と提案状態におけるターゲット確率密度の比を用いて、メトロポリス・ハスティングス補正を適用。
• 逆投影チェックを統合：提案状態から元の状態へ同じ投影手順を用いて戻れるかを検証。
• ラグランジュ乗数関数を用いて、非制約系のダイナミクスステップを部分多様体上に再投影する方法を定義。
• 投影および逆投影ステップで生じる非線形方程式を解くためにニュートン法を採用。
• 完全な拒否メカニズムを実装：(1) 前方または逆方向のステップでニュートン法の収束に失敗した場合、(2) 可逆性が満たされない場合（すなわち、(q,p) ≠ ΨΔt ◦ ΨΔt(q,p)）、(3) 確率密度比に基づくメトロポリスの受容/拒否判断。

実験結果

リサーチクエスチョン

• RQ1 非ゼロの勾配力を持つGHMCスキームに、メトロポリスのランダムウォークから一般化された逆投影チェックを適用可能か？
• RQ2 逆投影チェックの導入により、部分多様体上でのGHMCにおいて、大きなタイムステップでも不変測度のバイアスが排除されるか？
• RQ3 制約付き多様体上でのGHMCにおいて、非可逆性による拒否率はタイムステップサイズにどのように依存するか？
• RQ4 特にメタ安定系において、逆投影チェックのサンプリング効率への影響は何か？
• RQ5 従来のHMCと同様に、小さなタイムステップに依存せず、バイアスのないサンプリングを達成できるか？

主な発見

• 大きなタイムステップ（Δt = 1）では、勾配力付きGHMCで非可逆性拒否率が15–20％に達し、逆チェックがバイアス除去に不可欠であることが示された。
• 勾配力をゼロにした場合（メトロポリスのランダムウォークに還元）、最適タイムステップは約1であり、非可逆性拒否率は約5％にとどまり、チェックが依然として重要であることが確認された。
• メタ安定状態に滞在する平均時間は、GHMCでは1/Δtに比例し、MALAでは1/Δt²に比例する。これは、元のダイナミクスのスケーリングが正しく保たれていることを裏付けた。
• Δt = 0.1のとき、非可逆性拒否率はほぼゼロ（10⁻⁹）に低下したが、総拒否率は依然として高い（約6.7×10⁻⁴）であり、これは小さなタイムステップではメトロポリス拒否が支配的であることを示唆した。
• 逆投影チェックが最も頻繁に発動するタイムステップで、サンプリング効率が最適化された。これは、バイアスのないサンプリングにチェックが不可欠であることを証明した。
• 数値実験により、逆チェックを省略すると、特に大きなタイムステップでは顕著なバイアスが生じることが確認された。メトロポリス補正が施されていても同様の結果となった。