[論文レビュー] Lagrangian Manifold Monte Carlo on Monge Patches

Marcelo Hartmann, Mark Girolami+1 more|arXiv (Cornell University)|Feb 1, 2022

Topological and Geometric Data Analysis被引用数 9

ひとこと要約

本稿では、目的分布を高次元空間におけるMongeパッチとして埋め込むことで、1次微分情報のみを用いて、計算的に効率的なリーマン計量を提案する。得られる計量は、逆行列と行列式の計算が高速であり、次元数における計算複雑度を立方から二次に低減する。この計量により、ラグランジュモンテカルロ法におけるサンプリング効率が著しく向上し、実験的ベンチマークにおいて、ユークリッド計量およびフィッシャー計量の手法を上回る性能を示す。

ABSTRACT

The efficiency of Markov Chain Monte Carlo (MCMC) depends on how the underlying geometry of the problem is taken into account. For distributions with strongly varying curvature, Riemannian metrics help in efficient exploration of the target distribution. Unfortunately, they have significant computational overhead due to e.g. repeated inversion of the metric tensor, and current geometric MCMC methods using the Fisher information matrix to induce the manifold are in practice slow. We propose a new alternative Riemannian metric for MCMC, by embedding the target distribution into a higher-dimensional Euclidean space as a Monge patch and using the induced metric determined by direct geometric reasoning. Our metric only requires first-order gradient information and has fast inverse and determinants, and allows reducing the computational complexity of individual iterations from cubic to quadratic in the problem dimensionality. We demonstrate how Lagrangian Monte Carlo in this metric efficiently explores the target distributions.

研究の動機と目的

• 計量テンソルの逆行列計算や行列式の計算に高コストがかかる既存の幾何的MCMC手法の計算コストを低減すること。
• 統計的モデルや2次微分に依存せずに、目的分布の局所的曲率を捉えるリーマン計量の開発。
• 閉形式で逆行列と行列式が得られる計量を提供することで、ラグランジュモンテカルロ（LMC）の効率的実装を可能とすること。
• 新しい計量がフィッシャー計量と同等のサンプリング効率を達成するが、著しく低い計算コストで実現できることを示すこと。
• 一般用途に適した、フィッシャー情報計量の幾何学的代替手段を提供すること。

提案手法

• 目的密度 π_X(x) を高次元ユークリッド空間内にMongeパッチ Ξ(x) = (x, α log π_X(x)) として埋め込む。
• 誘導されたリーマン計量 G_M(x) を、単位行列に対するランク1の摂動として定義し、摂動項は log π_X(x) の勾配の外積とする。
• Mongeパッチの微分幾何的考察により計量テンソルを導出し、第二基本形式およびクリストッフェル記号と関連付ける。
• 行列式の逆行列と行列式の計算を、コストの高い行列逆行列計算を避ける閉形式式により効率化する。
• 計量をラグランジュモンテカルロ（LMC）に統合し、1反復あたり2回の行列逆行列計算を必要とする明示的数値積分法を用いる。
• スケーリングパラメータ α を、曲率感度と計算効率のバランスを取るために調整し、ウォームアップ段階で適応戦略を提案。

実験結果

リサーチクエスチョン

• RQ1 目的密度の幾何的埋め込みから得られる計量が、計算コストを低減しつつもフィッシャー計量と同等のサンプリング効率を達成できるか。
• RQ2 1次微分情報のみに依存するMongeパッチに基づく計量が、2次微分や完全な計量逆行列を必要とする手法よりも高速なMCMCサンプリングを可能にするか。
• RQ3 提案された計量が、複雑な後退分布における高曲率領域の探索をどの程度改善するか。
• RQ4 制御パrameter α がサンプリング効率に与える影響は何か。また、最適な性能を得るために適応的に調整可能か。
• RQ5 行列式の補正が必要な非シンプレクティック積分法（例：LMC）において、新しい計量が著しい計算コストを伴わずに効果的に使用可能か。

主な発見

• ハートデータセット（N=270, D=14）では、LMCにMonge計量を適用した場合、1秒あたりの最小有効サンプルサイズ（ESS）が441に達し、LMC-Fisher（164）およびHMC-Euclidean（55）を上回った。
• ドイツデータセット（N=1000, D=22）では、Monge計量が1秒あたり平均210 ESSを達成し、LMC-Fisher（74）およびHMC-Euclidean（69）を上回った。
• オーストラリアデータセット（N=690, D=15）では、Monge計量が1秒あたり平均249 ESSを達成し、LMC-Fisher（104）およびHMC-Euclidean（246）を上回った。
• 最適な α 値は問題に依存するが、通常は小さい値である。しかし、∇ℓ(x) と H(x) が大きい場合でも計量は有効であり、勾配の大きさに対して頑健であることが示された。
• Monge計量により、逆行列と行列式の計算が高速化され、1反復あたりの計算複雑度が O(D³) から O(D²) に低減した。これにより、高次元問題に対しても実用的である。
• 本手法は、幾何的MCMCが計算効率的かつ汎用的であることを示しており、フィッシャー計量と同等の性能を発揮するが、著しく低い計算コストで実現可能である。