[論文レビュー] Particle ancestor sampling for near-degenerate or intractable state transition models

Fredrik Lindsten, Pete Bunch+2 more|arXiv (Cornell University)|May 23, 2015

Statistical Methods and Bayesian Inference参考文献 39被引用数 15

ひとこと要約

本稿では、ほぼ退化または扱いにくい状態遷移核を有する非線形状態空間モデルにおけるベイジアン推論を解決するため、リジュベネーションを伴う粒子の先祖サンプリングを提案する。問題となる後向き核からのシミュレーションに代えて、将来の状態変数の連合サンプリングを用いることで、効果的な前向き・後向きスムージングが可能となり、トラッキング、疫学、計量経済学における困難なモデルへの適用範囲が拡大され、粒子MCMCおよびギブスサンプリングフレームワークにおける性能が顕著に向上する。

ABSTRACT

We consider Bayesian inference in sequential latent variable models in general, and in nonlinear state space models in particular (i.e., state smoothing). We work with sequential Monte Carlo (SMC) algorithms, which provide a powerful inference framework for addressing this problem. However, for certain challenging and common model classes the state-of-the-art algorithms still struggle. The work is motivated in particular by two such model classes: (i) models where the state transition kernel is (nearly) degenerate, i.e. (nearly) concentrated on a low-dimensional manifold, and (ii) models where point-wise evaluation of the state transition density is intractable. Both types of models arise in many applications of interest, including tracking, epidemiology, and econometrics. The difficulties with these types of models is that they essentially rule out forward-backward-based methods, which are known to be of great practical importance, not least to construct computationally efficient particle Markov chain Monte Carlo (PMCMC) algorithms. To alleviate this, we propose a "particle rejuvenation" technique to enable the use of the forward-backward strategy for (nearly) degenerate models and, by extension, for intractable models. We derive the proposed method specifically within the context of PMCMC, but we emphasise that it is applicable to any forward-backward-based Monte Carlo method.

研究の動機と目的

• 状態遷移核がほぼ退化または扱いにくい状態空間モデルにおけるベイジアン推論の課題に対処すること。
• 後向き核が退化または扱いにくい場合に失敗する前向き・後向きスムージング手法の限界を克服すること。
• このようなモデルにおいて、前向き・後向き戦略を効率的に使用できる粒子のリジュベネーション技術を開発すること。
• 扱いにくいまたは退化した遷移を有するモデルへの粒子マルコフ連鎖モンテカルロ法（PMCMC）およびギブスサンプリングの適用範囲を拡大すること。
• PMCMCに限定されず、複雑な動的システムにおける推論を支援する、堅牢で汎用的な手法を提供すること。

提案手法

• 後向き核からの直接的シミュレーションに代えて、将来の状態変数の連合サンプリングを用いる粒子リジュベネーション技術を導入し、混合性と安定性を向上させること。
• 後向き核よりも退化が小さい状態変数の部分集合の連合密度を構築し、より効果的なリサンプリングを可能にすること。
• 遷移密度が扱いにくい場合に、近似的に退化した代替物で遷移核を近似する近似ベイズ計算（ABC）アプローチを用いること。
• 詳細なバランスと正しい極限分布を維持するために、リジュベネーションステップを、先祖リサンプリングを伴う粒子ギブス法（PGAS）アルゴリズムに統合すること。
• 連合状態分布の構造を活用して、ターゲットのスムージング分布を保持したまま、効率的な先祖サンプリングを可能にすること。
• Markov核の構造を用いて、部分的に畳み込みギブスサンプラーとしてこの手法を定式化し、提案されたMarkov核の下で有効性と理論的整合性を保証すること。

実験結果

リサーチクエスチョン

• RQ1 リジュベネーションを伴う粒子の先祖サンプリングは、ほぼ退化した状態遷移核を有する状態空間モデルを効果的に取り扱えるか？
• RQ2 提案手法は、扱いにくい遷移密度を有するモデルに対しても、前向き・後向きスムージングの適用範囲を拡大できるか？
• RQ3 粒子リジュベネーション技術は、粒子MCMCおよびギブスサンプリングアルゴリズムにおける混合性と収束性をどのように向上させるか？
• RQ4 扱いにくい遷移にABC近似を用いることで、推論の精度と安定性にどのような影響を与えるか？
• RQ5 リジュベネーション戦略は、既存のPMCMCおよびPGASフレームワークに正しく統合可能であり、極限分布の正しさを損なわないか？

主な発見

• 提案された粒子リジュベネーション技術は、標準的手法が失敗するようなほぼ退化した遷移核を有するモデルにおいても、前向き・後向きスムージングを有効に可能にした。
• 連合状態変数上での有効なMarkov核を構築することで、詳細なバランスと正しい極限分布を維持した。
• 実験的結果は、先祖サンプリング重みの近似誤差に対して頑健であることを示しており、モデルの不確実性下でも実用的な安定性を示している。
• 扱いにくい遷移のABC近似により、閉形式で評価できない遷移密度を有するモデルに対してもリジュベネーションの使用が可能になった。
• 尤度の過大評価に起因するサンプラーの「ねばりつき」問題を緩和することで、粒子MCMCにおける性能が向上した。
• 本手法は一般性を有し、PMCMCやギブスサンプリングに限定されない、前向き・後向きに基づくモンテカルロ法に応用可能である。