[論文レビュー] Generalized and hybrid Metropolis-Hastings overdamped Langevin algorithms

Romain Poncet|arXiv (Cornell University)|Jan 19, 2017

Markov Chains and Monte Carlo Methods参考文献 14被引用数 8

ひとこと要約

本稿では、一般化およびハイブリッドメトロポリス・ハスティングス過重ラングジュアンアルゴリズム（GMALA および GHMALA）を導入し、MCMCサンプリングにおける漸近的分散を低減するために非可逆的ダイナミクスを活用する。引き上げられた状態空間とハミルトニアン積分法を用いることで、低次元のターゲット分布を有するモデル例において、標準的な MALA と比較して分散低減が最大500倍に達する。

ABSTRACT

It has been shown that the nonreversible overdamped Langevin dynamics enjoy better convergence properties in terms of spectral gap and asymptotic variance than the reversible one. In this article we propose a variance reduction method for the Metropolis-Hastings Adjusted Langevin Algorithm (MALA) that makes use of the good behaviour of the these nonreversible dynamics. It consists in constructing a nonreversible Markov chain (with respect to the target invariant measure) by using a Generalized Metropolis-Hastings adjustment on a lifted state space. We present two variations of this method and we discuss the importance of a well-chosen proposal distribution in terms of average rejection probability. We conclude with numerical experimentations to compare our algorithms with the MALA, and show variance reduction of several order of magnitude in some favourable toy cases.

研究の動機と目的

• 標準的な可逆的手法（例：MALA）と比較して収束性を向上させ、漸近的分散を低減する非可逆的 MCMC アルゴリズムの開発。
• 古典的 MALA が高次元または集中したターゲット分布において制限を受ける問題を、一般化メトロポリス・ハスティングス調整による非可逆的ドリフトの導入によって解決。
• 高い受容率を維持しながら分散低減を実現する効率的なプロポーザルメカニズム（特にハミルトニアン積分法の使用）の設計。
• 低次元の集中分布を有するモデル分布における数値実験を通じて、提案手法の実用的優位性の実証。

提案手法

• ターゲット測度 π に関して非可逆なマルコフ連鎖を構築するため、引き上げられた状態空間上で一般化メトロポリス・ハスティングス調整を提案。
• 非可逆的ドリフト γ(x) = J∇logπ(x) をスケュー対称行列 J を用いて定義し、∇·(γπ) = 0 を満たし、不変測度 π を保存。
• ハミルトニアンダイナミクスの提案ステップを数値的に解くために、シンプレクティックな座標変換後のセンター・ポイント積分法を採用。
• 離散化誤差を補正し、引き上げられた空間内での詳細つり合いを保証するため、メトロポリス・ハスティングスの受容・拒否ステップを適用。
• 分離可能なハミルトニアン（例：四次ガウス分布）に対しては、固定点反復を回避し計算コストを低減するため、明示的積分法を用いる。
• GMALA では中点離散化を採用し、暗黙的であるにもかかわらず高い受容率を維持。受容比におけるヘッセ行列の計算を回避。

実験結果

リサーチクエスチョン

• RQ1 非可逆的過重ラングジュアンダイナミクスを、MCMC サンプリングにおける漸近的分散低減を目的としたメトロポリス・ハスティングスフレームワークに効果的に適応できるか？
• RQ2 プロポーザル分布および積分法の選択が、非可逆的 MCMC アルゴリズムの平均拒否確率と性能に与える影響はいかほどか？
• RQ3 引き上げとハミルトニアン力学を用いることで、標準的な MALA と比較して、高次元または集中したターゲット分布におけるサンプリング効率はどの程度向上するか？
• RQ4 明示的積分法と暗黙的積分法の使用が、非可逆的 MCMC 手法における計算コストと分散低減に与える影響は？
• RQ5 一般化およびハイブリッドメトロポリス・ハスティングスラングジュアンアルゴリズムを用いることで、実際の応用において数桁の分散低減を達成できるか？

主な発見

• 歪んだガウス分布に対して、GHMALA は大きな時間ステップを用いて、古典的 MALA と比較して約500倍の分散低減を達成。
• 同じ歪んだガウス分布ケースにおいて、GMALA は MALA と比較して約60倍の分散低減を達成。小刻みな時間ステップでは同程度の性能を示した。
• 四次ガウス分布に対しては、GHMALA は小刻みな時間ステップで漸近的分散を約280倍低減。最小分散は MALA の約50分の1にまで低下。
• GHMALA は、非リプシッツ的ドリフトのため GMALA のプロポーザルカーネルが不適切になる大規模な時間ステップでも、安定性と低い分散を維持。
• シンプレクティックな座標変換とセンター・ポイント積分法の使用により、ハミルトニアンダイナミクスの安定的かつ高精度な統合が可能となり、より大きな時間ステップと低い分散が実現。
• 明示的積分法は、分離可能な非リプシッツ的ケース（例：四次ポテンシャル）において有効であり、固定点反復を回避し計算コストを低減しながらも、分散低減を維持した。