[論文レビュー] Semi-Separable Hamiltonian Monte Carlo for Inference in Bayesian Hierarchical Models

Yichuan Zhang, Charles Sutton|arXiv (Cornell University)|Jun 15, 2014

Markov Chains and Monte Carlo Methods参考文献 16被引用数 10

ひとこと要約

本稿では、パラメータとハイパーパrameterの間の結合ハミルトニアンに半分分離構造を有する、計算的に効率的なリーマン多様体HMCの変種、Semi-Separable Hamiltonian Monte Carlo (SSHMC)を提案する。ハミルトニアンを2つのより単純な分離可能な成分に分解し、交互にブロック更新するリープフロッグ積分法を用いることで、特に強いパラメータ-ハイパーパrameter相関を示す階層モデルにおいて、ギブスサンプリングより高速な混合速度と、ギブス内でのRMHMCより高い1秒あたり有効サンプルサイズを達成する。

ABSTRACT

Sampling from hierarchical Bayesian models is often difficult for MCMC methods, because of the strong correlations between the model parameters and the hyperparameters. Recent Riemannian manifold Hamiltonian Monte Carlo (RMHMC) methods have significant potential advantages in this setting, but are computationally expensive. We introduce a new RMHMC method, which we call semi-separable Hamiltonian Monte Carlo, which uses a specially designed mass matrix that allows the joint Hamiltonian over model parameters and hyperparameters to decompose into two simpler Hamiltonians. This structure is exploited by a new integrator which we call the alternating blockwise leapfrog algorithm. The resulting method can mix faster than simpler Gibbs sampling while being simpler and more efficient than previous instances of RMHMC.

研究の動機と目的

• 強いパラメータ-ハイパーパrameter相関によりMCMCサンプリングが遅延するBayesian階層モデルにおける問題に対処すること。
• 大規模問題において有効ではあるが計算コストの高いリーマン多様体HMC (RMHMC) のより効率的な代替手法を開発すること。
• パラメータとハイパーパrameterの間の結合ハミルトニアンにおける特定の構造的性質—半分分離性—を活用して、より高速で単純なサンプリングを可能にすること。
• 特に複雑な後方幾何を持つモデルにおいて、1秒あたり有効サンプルサイズ (ESS/s) の観点からサンプリング効率を向上させること。

提案手法

• パラメータとハイパーパrameterの間の結合ハミルトニアンに半分分離性を誘導する新しい質量行列構造を提案する。
• パラメータとハイパーパrameterのブロックを交互に更新する、新しい積分法である交互ブロックワイドリープフロッグ法 (ABLA) を導入する。
• ブロック対角計量を用いる：パラメータのための尤度のヘッセ行列の逆行列と、ハイパーパラメータのための単位行列を組み合わせ、計算を単純化する。
• 異なるブロックごとに異なるステップ数を使用するハイブリッドリープフロッグスキームを採用する（例：パラメータに5ステップ、ハイパーパラメータに2ステップ）。これにより、精度と効率のバランスをとる。
• 詳細なバランスを保ち、正しいターゲット分布を維持するために、メトロポリス・ハスティングス補正を用いる。
• 結合ハミルトニアンを2つの分離可能な成分の和として導出し、それぞれがパラメータ用とハイパーパラメータ用であるとし、ブロックワイド統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 簡素化されたRMHMC手法は、階層ベイジアンモデルにおいて、標準的HMCおよびギブスサンプリングよりも優れた混合性能を達成できるか？
• RQ2 結合ハミルトニアンにおける半分分離性を活用することで、一般のRMHMCよりも効率的な積分法が得られるか？
• RQ3 提案された交互ブロックワイドリープフロッグ法は、完全なRMHMCと比較して計算コストを低減しつつ、精度を維持できるか？
• RQ4 さまざまな階層モデルにおいて、SSHMCはギブス内でのRMHMCと比較して、1秒あたり有効サンプルサイズ (ESS/s) がどのように異なるか？

主な発見

• ガウスのファンネルモデルでは、SSHMCはギブス内RMHMCと比較して、1秒あたりの有効サンプルサイズ (ESS/s) をほぼ2倍に達成した。
• 32×32グリッドを有する対数ガウス過程プロセス (LGCPP) モデルでは、SSHMCはギブス内RMHMCと比較して、1時間あたり約6倍の有効サンプルを生成した。
• すべてのベンチマークにおいて、SSHMCは一貫した事後分布サンプルを生成し、正しいターゲット分布への収束を確認した。
• リープフロッグステップ数を減らしても高い効率を維持したため、ロバストネスとスケーラビリティが示された。
• 交互ブロックワイドリープフロッグ法により、共有項を有する2つのハミルトニアンのおかげで、ギブスサンプリングよりもハイパーパラメータ空間での混合速度が速くなった。
• テストされたすべてのモデルにおいて、SSHMCは標準的HMCおよびギブス内RMHMCを上回るESS/sを達成し、優れた計算効率を確認した。