[論文レビュー] The Geometric Foundations of Hamiltonian Monte Carlo

Michael Betancourt, Simon Byrne+2 more|arXiv (Cornell University)|Oct 19, 2014

Markov Chains and Monte Carlo Methods参考文献 48被引用数 33

ひとこと要約

本稿は微分幾何学を用いてハミルトニアン・モンテカルロ（HMC）の幾何的基盤を確立し、効率的なサンプリングには滑らかな多様体上の体積保存型ダイナミクスが必要であることを示している。HMCの成功はシンプレクティック構造と測度論的整合性に起因することを証明し、原理的で一貫した実装および一般化のための厳密な枠組みを提供する。

ABSTRACT

Although Hamiltonian Monte Carlo has proven an empirical success, the lack of a rigorous theoretical understanding of the algorithm has in many ways impeded both principled developments of the method and use of the algorithm in practice. In this paper we develop the formal foundations of the algorithm through the construction of measures on smooth manifolds, and demonstrate how the theory naturally identifies efficient implementations and motivates promising generalizations.

研究の動機と目的

• ハミルトニアン・モンテカルロの経験的成功の背後にある理論的理解の欠如を解消すること。
• 滑らかな多様体、ファイバー束、シンプレクティック幾何学を用いてHMCをマコフ核として形式化すること。
• 効率的なサンプリングと体積保存を保証するための、重要な幾何的および測度論的性質を同定すること。
• ロバストでスケーラブルなHMC実装および一般化のための厳密な枠組みを提供すること。
• 確率的推論と微分幾何学を統合し、原理的なアルゴリズム開発を可能にすること。

提案手法

• 滑らかな多様体上の滑らかな測度を用いてマコフ核を構築し、適切な確率の伝播を保証する。
• 分解理論を適用してファイバー束上の正規条件付き確率測度を定義する。
• リーマン幾何学およびシンプレクティック幾何学を用いて、曲がったパrameter空間におけるハミルトニアンダイナミクスを定義する。
• 水平.lift（水平.lift）と正の向きのフレームの概念を導入し、全空間上の測度を分解する。
• 基底測度とファイバー測度の整合性を保証するために、押し出し測度条件を適用する。
• シンプレクティック構造と標準測度を用いて、ハミルトニアンフロー下でのマイクロカノニカル分布の不変性を証明する。

実験結果

リサーチクエスチョン

• RQ1 効率的なハミルトニアン・モンテカルロサンプリングに不可欠な幾何的および測度論的性質は何か？
• RQ2 なぜHMCにおける体積保存型積分器はスケーラブルな性能を示すが、非体積保存型の代替手法は高次元で失敗するのか？
• RQ3 滑らかな多様体およびファイバー束上で確率的測度を一貫して定義・分解する方法は何か？
• RQ4 シンプレクティック構造およびリーマン構造は、複雑で高次元のモデルにおけるHMCの成功をどのように規定しているのか？
• RQ5 この理論的枠組みをどのように一般化して、標準的実装を超えたHMCの拡張を可能にするか？

主な発見

• 本稿は、ハミルトニアンレベル集合上のマイクロカノニカル分布が対応するハミルトニアンフローに関して不変であることを証明し、エルゴディシティを保証している。
• 押し出し測度が滑らかで、基底フレームが正の向きである場合、ファイバー束上に一意な正規条件付き確率測度が存在することが確立された。
• 理論により、体積保存型ダイナミクスがスケーラブルなHMC性能に不可欠であることが示され、非体積保存型スキーム（例：可圧縮HMC）が高次元で失敗する理由が説明された。
• シンプレクティック幾何学と分解理論を用いたHMCのマコフ核としての構築は、実装のための厳密で原理的な基盤を提供する。
• この枠組みは、水平.liftとリーマン計量が曲がった多様体上での効率的な提案機構を定義する役割を自然に特定する。
• 形式的枠組みにより、一貫した幾何的構築を通じて、非ユークリッド的パrameter空間や複雑な階層モデルへのHMCの一般化が可能になる。