[論文レビュー] Efficiently Combining Pseudo Marginal and Particle Gibbs Sampling

David Gunawan, Chris Carter+1 more|arXiv (Cornell University)|Apr 12, 2018

Markov Chains and Monte Carlo Methods参考文献 23被引用数 4

ひとこと要約

本稿では、非線形的で非ガウス的な状態空間モデルにおけるベイズ推論の効率を向上させるために、相関のある擬似周辺化サンプリングとパーティクルギブスを組み合わせた新規なパーティクルMCMCサンプラを提案する。相関のあるパラメータ更新とパーティクルベースの状態推定を活用することで、単独の擬似周辺化またはパーティクルギブス手法と比較して、より優れた混合性と収束性を達成した。その有効性は、レバレッジを伴う多変量要因確率的ボラティリティモデルを用いた実験で示された。

ABSTRACT

Particle Markov Chain Monte Carlo methods are used to carry out inference in non-linear and non-Gaussian state space models, where the posterior density of the states is approximated using particles. Deligiannidis (2017) introduce the correlated pseudo marginal sampler and show that it can be much more efficient than the standard pseudo marginal approach. Mendes (2018) propose a particle MCMC sampler that generates parameters that are highly correlated with the states using a pseudo marginal method that integrates out the states, while all other parameters are generated using particle Gibbs. Our article shows how to combine these two approaches to particle MCMC to obtain a flexible sampler with a superior performance to each of these two approaches. We illustrate the new sampler using a multivariate factor stochastic volatility model with leverage.

研究の動機と目的

• 高次元で非線形的な状態空間モデルにおいて、標準的な擬似周辺化MCMC手法の非効率性を解消すること。
• 相関のあるパラメータ更新とパーティクルベースの状態推定を統合することで、混合性と収束性を向上させること。
• 既存のパーティクルMCMC手法を上回る柔軟性と統一的なサンプリングフレームワークを構築すること。
• レバレッジを伴う挑戦的な多変量確率的ボラティリティモデルを用いて、手法の有効性を実証すること。

提案手法

• 本手法は、相関のある擬似周辺化サンプラ（Deligiannidis, 2017）とパーティクルギブスサンプリングを組み合わせ、パラメータと状態の更新を強く相関させる。
• パラメータ更新時に状態を周辺化するための擬似周辺化アプローチを用い、尤度推定の分散を低減する。
• 状態空間の更新には、現在のパラメータ値を条件とした軌道の再サンプリングにパーティクルギブスを用いる。
• 相関のあるパラメータ提案とパーティクルベースの状態推定の併用により、混合性が向上し、ランダムウォーク的挙動が軽減される。
• 適切な提案および受容メカニズムを用いることで、詳細なバランスを維持し、妥当なベイズ推論を保証する。

実験結果

リサーチクエスチョン

• RQ1 相関のある擬似周辺化サンプリングとパーティクルギブスを組み合わせることで、非線形的で非ガウス的な状態空間モデルにおけるパーティクルMCMCの混合性が向上するか？
• RQ2 本手法の性能は、単独のパーティクルギブス法や擬似周辺化法と比較してどのように異なるか？
• RQ3 収束性と効率性の向上を達成しつつ、計算上の実行可能性は維持されるか？
• RQ4 多変量確率的ボラティリティモデルにおける、パラメータと状態の相関がサンプリング効率に与える影響は何か？

主な発見

• ハイブリッドサンプラは、標準的なパーティクルギブス法や擬似周辺化法と比較して、混合効率が顕著に向上した。
• 相関のあるパラメータ更新のおかげで、マルコフ連鎖サンプルの収束が速くなり、自己相関が低減した。
• レバレッジを伴う多変量要因確率的ボラティリティモデルに対する実験的結果から、有効サンプルサイズと計算コストの両面で優れた性能を示した。
• 擬似周辺化手法による状態の周辺化統合が、パラメータ推定の安定性を高めた。