[論文レビュー] Pseudo-Marginal Hamiltonian Monte Carlo

Johan Westerborn, Randal Douc+1 more|arXiv (Cornell University)|Jul 8, 2016

Markov Chains and Monte Carlo Methods参考文献 28被引用数 18

ひとこと要約

本稿では、ハミルトニアンモンテカルロ（HMC）の効率性と擬似周辺化手法による不確実な尤度近似を組み合わせた、新しいMCMCアルゴリズムである擬似周辺化ハミルトニアンモンテカルロ（PM-HMC）を提案する。尤度が不確実な場合でも、パラメータの周辺事後分布からの正確なサンプリングが可能であり、尤度近似の精度$N$が向上するにつれて、サンプル軌道および受容確率が理想のHMCに収束する。

ABSTRACT

Bayesian inference in the presence of an intractable likelihood function is computationally challenging. When following a Markov chain Monte Carlo (MCMC) approach to approximate the posterior distribution in this context, one typically either uses MCMC schemes which target the joint posterior of the parameters and some auxiliary latent variables, or pseudo-marginal Metropolis--Hastings (MH) schemes. The latter mimic a MH algorithm targeting the marginal posterior of the parameters by approximating unbiasedly the intractable likelihood. However, in scenarios where the parameters and auxiliary variables are strongly correlated under the posterior and/or this posterior is multimodal, Gibbs sampling or Hamiltonian Monte Carlo (HMC) will perform poorly and the pseudo-marginal MH algorithm, as any other MH scheme, will be inefficient for high dimensional parameters. We propose here an original MCMC algorithm, termed pseudo-marginal HMC, which combines the advantages of both HMC and pseudo-marginal schemes. Specifically, the pseudo-marginal HMC method is controlled by a precision parameter N, controlling the approximation of the likelihood and, for any N, it samples the marginal posterior of the parameters. Additionally, as N tends to infinity, its sample trajectories and acceptance probability converge to those of an ideal, but intractable, HMC algorithm which would have access to the marginal posterior of parameters and its gradient. We demonstrate through experiments that pseudo-marginal HMC can outperform significantly both standard HMC and pseudo-marginal MH schemes.

研究の動機と目的

• 潜在変数やABC近似による尤度の不確実性のため、標準的なMCMC手法が非効率になる問題に対処する。
• 高次元、相関関係が強い、またはマルチモーダルな事後分布において、ギブスポスティングと標準的HMCの限界を克服する。
• 不確実な尤度に対して、HMCの効率的探索の長所と、擬似周辺化MHの不確実な尤度近似の長所を統合する手法を開発する。
• 尤度が有限の精度で推定されている場合でも、真のパラメータの周辺事後分布を正確にターゲットにする。
• 尤度近似が正確になる（$N \to \infty$）につれて、サンプル軌道および受容確率が理想のHMCに収束することを達成する。

提案手法

• 不確実な尤度の不偏推定量を用いる擬似周辺化HMCアルゴリズムを提案し、精度パラメータ$N$で制御する。
• 尤度推定量をHMCのハミルトニアンダイナミクスに統合し、HMCの幾何的構造を保ちつつ、周辺事後分布の正確なターゲティングを維持する。
• ノイズを含む対数尤度の勾配推定量をループフロッグ積分器に使用し、擬似周辺化フレームワーク下でもアルゴリズムの有効性を保証する。
• 不確実な尤度の近似におけるバイアスを、不確実な尤度を推定するために用いる独立同分布のサンプル数$N$で制御する。
• 受容確率が$N \to \infty$ のとき理想のHMCの受容確率に収束することを保証し、詳細釣り合いと正確性を維持する。
• 標準的HMCや擬似周辺化MHが高次元性や強い相関性のため失敗する、潜在変数モデルやABCを含む不確実な尤度を伴うモデルに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 尤度が不確実な場合でも、周辺事後分布を正確にターゲットにするハミルトニアンモンテカルロアルゴリズムを設計できるか？
• RQ2 高次元、相関関係、マルチモーダルな事後分布において、PM-HMCの性能は標準的HMCや擬似周辺化MHと比べてどうか？
• RQ3 尤度近似の精度$N$が向上するにつれて、PM-HMCのサンプル軌道および受容確率は理想のHMCに収束するか？
• RQ4 複雑なベイズモデルにおいて、不確実な尤度を伴う場合に、PM-HMCは既存手法よりも優れた混合性と低い自己相関を達成できるか？
• RQ5 精度パラメータ$N$は、サンプリングの効率性および収束性にどのような影響を与えるか？

主な発見

• 高次元、相関関係、マルチモーダルな事後分布において、PM-HMCは標準的HMCおよび擬似周辺化MHよりも著しく優れた混合性と低い自己相関を達成する。
• 有限の$N$に対しても、PM-HMCは真の周辺事後分布を正確にターゲットにし、ベイズ的整合性を保つ。
• $N \to \infty$ のとき、PM-HMCのサンプル軌道および受容確率は理想のHMCに収束し、漸近的効率性を保証する。
• 13パラメータの潜在変数モデルにおける実験では、PM-HMCは有効サンプルサイズおよびトレースの質において、擬似周辺化スライスサンプリングおよび条件付き重要度サンプリングを用いたギブスポスティングよりも優れている。
• ノイズを含む勾配推定量を使用しても、擬似周辺化フレームワーク下で詳細釣り合いと正確性を維持する。
• 理論的分析により、依存列に対する中心極限定理および大数の法則が支持され、本手法の漸近的妥当性が裏付けられる。