[論文レビュー] On general sampling schemes for Particle Markov chain Monte Carlo methods

Eduardo Mendes, Chris Carter+1 more|arXiv (Cornell University)|Jan 8, 2014

Statistical Methods and Bayesian Inference参考文献 35被引用数 4

ひとこと要約

本稿では、非線形かつ非ガウス型の状態空間モデルにおけるベイズ推論のための一般化された粒子メトロポリス・インサイド・ギブス（PMwG）サンプリング枠組みを提案する。この手法は、粒子MCMCとギブスサンプリングを組み合わせることで、柔軟かつ効率的な事後分布サンプリングを可能にする。本手法は、ターゲット事後分布への一様収束を保証し、特に初期状態がぼんやりとした（diffuse）条件をとるモデルにおける複雑な依存関係に対しても適応可能である。

ABSTRACT

Particle Markov Chain Monte Carlo methods [Andrieu et al., 2010] are used to carry out inference in non-linear and non-Gaussian state space models, where the posterior density of the states is approximated using particles. Current approaches have usually carried out Bayesian inference using a particle Metropolis-Hastings algorithm or a particle Gibbs sampler. In this paper, we give a general approach to constructing sampling schemes that converge to the target distributions given in Andrieu et al. [2010] and Olsson and Ryden [2011]. We describe our methods as a particle Metropolis within Gibbs sampler (PMwG). The advantage of our general approach is that the sampling scheme can be tailored to obtain good results for different applications. We investigate the properties of the general sampling scheme, including conditions for uniform convergence to the posterior. We illustrate our methods with examples of state space models where one group of parameters can be generated in a straightforward manner in a particle Gibbs step by conditioning on the states, but where it is cumbersome and inefficient to generate such parameters when the states are integrated out. Conversely, it may be necessary to generate a second group of parameters without conditioning on the states because of the high dependence between such parameters and the states. Our examples include state space models with diffuse initial conditions, where we introduce two methods to deal with the initial conditions.

研究の動機と目的

• 標準的な粒子メトロポリス・ハスティングスおよび粒子ギブズを越えて、一般化された粒子マルコフ連鎖モンテカルロ（PMCMC）手法のための柔軟で汎用的なサンプリングスキームの開発。
• 潜在状態に強く依存するパラメータや、効率的な更新のための状態に条件づけられるパラメータを有する状態空間モデルにおける、効率的サンプリングの課題の解決。
• 提案されたPMwGスキームがターゲット事後分布への一様エルゴード性と収束を保証するための条件の特定。
• 初期状態分布の取り扱いを改善するための、2つの新しい手法を導入することで、初期状態がぼんやりとしたモデルを効果的に処理すること。

提案手法

• 潜在状態とパラメータの同時事後分布を標的とする、粒子MCMCとギブスサンプリングを統合した粒子メトロポリス・インサイド・ギブス（PMwG）フレームワークを提案。
• 状態空間モデルにおける扱いにくい尤度を近似するために粒子フィルタを用い、潜在状態の周辺化を可能にする。
• 異なるパラメータブロックのための条件付き更新を設計：1つのグループは状態に条件づけて粒子ギブズにより更新され、もう1つのグループは状態との強い依存関係のため、条件づけずに更新される。
• 状態空間モデルにおける初期状態分布のぼんやりとした性質を扱うための2つの専用手法を導入し、サンプリングの効率性と混合性を向上。
• PMwGサンプラーの一般化されたエルゴード性の理論的条件を確立し、ターゲット事後分布への収束を保証。
• モデル構造とパラメータ依存関係に基づいて、提案分布のモジュラー設計を可能にする一般的なスキームを採用。

実験結果

リサーチクエスチョン

• RQ1 標準的な粒子メトロポリス・ハスティングスおよび粒子ギブズを超えるPMCMC手法を拡張するための一般化されたサンプリング枠組みをどのように設計できるか？
• RQ2 状態空間モデルにおいて、提案されたPMwGスキームがターゲット事後分布への一様収束を保証するための条件は何か？
• RQ3 潜在状態に強く依存するパラメータブロックを、状態に条件づけずに効率的に更新するにはどうすればよいか？
• RQ4 PMCMCフレームワーク内での状態空間モデルにおけるぼんやりとした初期条件を効果的に取り扱うための戦略は何か？
• RQ5 複雑で高次元なモデルにおいて、PMwGフレームワークをどのように調整することで混合性と効率性を向上させられるか？

主な発見

• 提案されたPMwGフレームワークは、やや弱い正則性条件のもとで一様エルゴード性を保証し、ターゲット事後分布への確率的収束を保証する。
• 本手法により、パラメータブロックが潜在状態に条件づけられるか否かに応じて、状態に条件づけずに更新可能であるため、効率的なサンプリングが可能になる。
• 初期状態がぼんやりとしたモデルでは、2つの提案手法が標準的手法と比較して混合性を著しく向上させるとともに、計算コストを削減する。
• フレームワークはモジュラーかつ拡張可能であり、実務家がモデル構造と依存関係に応じてサンプリングスキームをカスタマイズできる。
• 実験的結果により、特にパラメータが潜在状態に強く依存する場合に、収束性と混合性が向上することが示された。
• 一般化されたアプローチは理論的妥当性を維持しつつ、非線形的かつ非ガウス型の複雑なモデルにおいて実用的利点を提供する。