[論文レビュー] Exact Hamiltonian Monte Carlo for Truncated Multivariate Gaussians

Ari Pakman, Liam Paninski|arXiv (Cornell University)|Aug 20, 2012

Markov Chains and Monte Carlo Methods参考文献 33被引用数 7

ひとこと要約

本稿では、線形および2次制約を伴う切断された多変量正規分布からのサンプリングのための正確なハミルトニアン・モンテカルロ（HMC）アルゴリズムを提示する。この手法により、調整パrameterの必要なしにハミルトニアン運動の正確な統合が可能となり、ギブスサンプリングよりも高速な混合速度と高い効率性を達成する。実行時間は高度に並列化可能であり、構造的共分散行列の特徴を活用することでさらに高速化され、ベイズ的ラassoのような分(piecewise quadratic)ターゲットへの自然な拡張が可能となる。

ABSTRACT

We present a Hamiltonian Monte Carlo algorithm to sample from multivariate Gaussian distributions in which the target space is constrained by linear and quadratic inequalities or products thereof. The Hamiltonian equations of motion can be integrated exactly and there are no parameters to tune. The algorithm mixes faster and is more efficient than Gibbs sampling. The runtime depends on the number and shape of the constraints but the algorithm is highly parallelizable. In many cases, we can exploit special structure in the covariance matrices of the untruncated Gaussian to further speed up the runtime. A simple extension of the algorithm permits sampling from distributions whose log-density is piecewise quadratic, as in the "Bayesian Lasso" model.

研究の動機と目的

• 線形および2次不等式制約を伴う多変量正規ターゲットに対して、パrameterフリーで正確なHMCサンプラーを開発すること。
• 高相関性・制約付き空間におけるギブスサンプリングの遅い混合速度と次元に比例するスケーリングの問題を克服すること。
• 正確なハミルトニアン統合を活用して、構造的共分散行列を伴う切断正規分布からの効率的サンプリングを可能にすること。
• ベイズ的ラassoモデルにおけるような分(piecewise quadratic)対数密度を持つ分布へのこの手法の拡張すること。
• 制約の幾何構造と依存関係に依存する実行時間を持つ、高度に並列化可能なアルゴリズムを提供すること。

提案手法

• アルゴリズムは、切断多変量正規分布の対数密度をポテンシャルエネルギーとみなしそこに運動量変数を導入してハミルトニアン系を定義する。
• 線形および2次制約下での運動の閉形式解を用いて、ハミルトニアン方程式の運動を正確に統合する。
• 硬い壁（制約）に弾性的に跳ね返り、状態更新がエネルギー保存則と詳細平衡を保つ。
• 次の壁衝突までの時間と反射方向を効率的に計算し、調整なしに正確なメトロポリス受理を可能にする。
• （例：スパースまたは低ランクな）構造的精度行列に対しては、運動および衝突時間の計算において行列構造を活用して計算を加速する。
• 不連続点におけるハミルトニアンを修正することで、分(piecewise quadratic)対数密度へと拡張可能であり、速度のジャンプがエネルギーを保存する。

実験結果

リサーチクエスチョン

• RQ1 調整パrameterの必要なしに、正確なハミルトニアン運動を用いて切断多変量正規分布からのサンプリングが可能か？
• RQ2 高次元・高相関・制約付き正規ターゲットにおいて、正確なHMCの性能はギブスサンプリングと比べてどうか？
• RQ3 正確なHMCフレームワークは、ベイズ的ラassoのような分(piecewise quadratic)対数密度を持つ分布へと拡張可能か？
• RQ4 制約の幾何構造および行列構造が、サンプラーの計算効率に与える影響は何か？
• RQ5 このアルゴリズムは、高次元設定における実行時間の短縮を図るために、どの程度並列化可能か？

主な発見

• すべてのテスト例において、特に高相関性・制約付き空間において、正確なHMCサンプラーはギブスサンプリングよりも高速な混合速度と高い効率性を達成した。
• エネルギーが正確に保存されるため、ステップサイズや軌道長の調整が一切不要である。これは、ハミルトニアン運動の正確な統合に起因する。
• 実行時間は制約の数と複雑さに比例するが、高度に並列化可能であり、現代のアーキテクチャでも高速な実装が可能である。
• 構造的精度行列（例：スパースまたは低ランク）に対しては、運動計算における行列構造の特徴を活用することで、顕著な高速化が達成された。
• ベイズ的ラassoモデルへの拡張は直感的であり、既存の手法と同等の効率性を維持しつつ、係数に追加の制約を容易に組み込める柔軟性を有する。
• 不連続な対数密度を自然に扱うことができ、境界で速度ジャンプを許容しつつも全エネルギーを保存するため、有効なMCMCサンプリングが保証される。