[論文レビュー] Efficient Bayesian Inference for Switching State-Space Models using Discrete Particle Markov Chain Monte Carlo Methods

Nick Whiteley, Christophe Andrieu+1 more|arXiv (Cornell University)|Nov 10, 2010

Target Tracking and Data Fusion in Sensor Networks参考文献 34被引用数 54

ひとこと要約

本稿では、特別に設計された離散型パーティクルフィルタを活用することで、スイッチング状態空間モデル（SSSMs）における効率的なベイズ推論を可能にする、離散型パーティクル・マーカフ・チェイン・モンテカルロ（PMCMC）手法を提案する。潜在状態の離散性を活用し、新規のバックワードサンプリング手順を用いることで、計算コストを固定した状態で、最先端のMCMC手法よりも優れた混合性能と収束性を達成する。並列処理の可能性も有する。

ABSTRACT

Switching state-space models (SSSM) are a very popular class of time series models that have found many applications in statistics, econometrics and advanced signal processing. Bayesian inference for these models typically relies on Markov chain Monte Carlo (MCMC) techniques. However, even sophisticated MCMC methods dedicated to SSSM can prove quite inefficient as they update potentially strongly correlated discrete-valued latent variables one-at-a-time (Carter and Kohn, 1996; Gerlach et al., 2000; Giordani and Kohn, 2008). Particle Markov chain Monte Carlo (PMCMC) methods are a recently developed class of MCMC algorithms which use particle filters to build efficient proposal distributions in high-dimensions (Andrieu et al., 2010). The existing PMCMC methods of Andrieu et al. (2010) are applicable to SSSM, but are restricted to employing standard particle filtering techniques. Yet, in the context of discrete-valued latent variables, specialised particle techniques have been developed which can outperform by up to an order of magnitude standard methods (Fearnhead, 1998; Fearnhead and Clifford, 2003; Fearnhead, 2004). In this paper we develop a novel class of PMCMC methods relying on these very efficient particle algorithms. We establish the theoretical validy of this new generic methodology referred to as discrete PMCMC and demonstrate it on a variety of examples including a multiple change-points model for well-log data and a model for U.S./U.K. exchange rate data. Discrete PMCMC algorithms are shown to outperform experimentally state-of-the-art MCMC techniques for a fixed computational complexity. Additionally they can be easily parallelized (Lee et al., 2010) which allows further substantial gains.

研究の動機と目的

• 1つの潜在状態を逐次更新する従来のMCMC手法が、スイッチング状態空間モデル（SSSMs）において低効率である問題を解決する。
• 高次元の離散的潜在軌道における正確な条件付き推論の計算的非実行可能性を克服する。
• 離散的潜在過程に適した特別なパーティクルフィルタリング技術（例：離散パーティクルフィルタ）を活用し、標準的なパーティクルフィルターよりも優れた性能を発揮すること。
• これらの効率的なパーティクルフィルタを提案手法のプロポーザルメカニズムとして用いる、新しいPMCMCアルゴリズムのクラス「離散型PMCMC」を構築すること。
• バックワードサンプリングを用いた理論的妥当性の確立と、標準的なMCMCの仮定の下での収束性およびエルゴード性の証明。

提案手法

• スイッチング状態空間モデル（SSSMs）に特化した新しいPMCMCフレームワークを提案し、そのプロポーザルメカニズムとして離散パーティクルフィルタ（DPF）を統合する。
• 潜在状態軌道と離散状態系列の同時事後分布を直接ターゲットとするために、バックワードサンプリングを用いることで混合性能を向上させる。
• 指数的に増加する状態空間上でランダムなプルーニング機構を用いることで、重要度サンプリングを回避するパーティクルフィルタを構築する。
• 条件付きDPF更新を用いて、ターゲット事後分布と整合的な潜在パスのプロポーザルを生成する。
• DPFに基づくプロポーザルを、潜在状態と離散状態系列を条件付きで更新するコラプセッド・ギャブス・サンプラー枠組みに統合する。
• 理論的妥当性を保証するため、導出されたマルコフ連鎖が正しい事後分布をターゲットとし、弱い条件下でも不可約性および非周期性を満たすことを証明する。

実験結果

リサーチクエスチョン

• RQ1 離散型パーティクルフィルタリング技術は、SSSMsにおけるサンプリング効率を向上させるPMCMCアルゴリズムに効果的に統合可能か？
• RQ2 提案された離散型PMCMC手法は、計算コストを固定した状態で、従来のMCMCおよび既存のPMCMC手法よりも収束速度と有効サンプルサイズの面で優れているか？
• RQ3 離散型PMCMCにおけるバックワードサンプリング手順は、高次元の離散状態空間において、真の事後分布への適切な混合と収束を保証できるか？
• RQ4 離散型PMCMCの性能は、データ長の増加に伴いどのように変化するか。また、パーティクル数$N$は精度と効率にどのような影響を与えるか？
• RQ5 提案手法はどの程度並列化可能であり、並列実行によって得られる性能向上はどの程度か？

主な発見

• 固定された計算予算のもとで、離散型PMCMCは最先端のMCMC手法よりも有効サンプルサイズと収束速度において優れた性能を示す。
• 離散的潜在過程に適用した場合、標準的なパーティクルフィルタベースのPMCMCと比較して、性能が最大1桁向上する。
• ウェルログデータおよび為替レートデータに対する実験結果から、離散型PMCMCは1回ずつの状態更新方式よりも、より正確な事後分布推定と高速な混合性能を達成していることが確認された。
• バックワードサンプリング手順により、理論的に正しい同時事後分布をターゲットとしていることが保証されている。
• 標準的なMCMCの正則性条件のもとで、同手法は証明された不可約性と非周期性を満たしており、不変分布への収束が保証される。
• アルゴリズムは効率的に並列化可能であり、高次元または長大なシーケンスの設定においてさらなる性能向上が得られる。