[論文レビュー] Sequential Monte Carlo Methods for System Identification

Thomas B. Schön, Fredrik Lindsten+5 more|arXiv (Cornell University)|Mar 20, 2015

Target Tracking and Data Fusion in Sensor Networks参考文献 48被引用数 31

ひとこと要約

本稿では、粒子フィルタリングとマージナリゼーションおよびデータ増強戦略を組み合わせることで、非線形かつ非ガウス型の状態空間モデル（SSM）における逐次的モンテカルロ（SMC）手法を提示する。SMCが、潜在状態が解析的に扱えない状態空間モデルにおいて、ベイズ推定および最尤推定を効率的に行うことを示しており、複雑な力学系におけるパラメータ推定のための最先端のアルゴリズムをもたらす。

ABSTRACT

One of the key challenges in identifying nonlinear and possibly non-Gaussian state space models (SSMs) is the intractability of estimating the system state. Sequential Monte Carlo (SMC) methods, such as the particle filter (introduced more than two decades ago), provide numerical solutions to the nonlinear state estimation problems arising in SSMs. When combined with additional identification techniques, these algorithms provide solid solutions to the nonlinear system identification problem. We describe two general strategies for creating such combinations and discuss why SMC is a natural tool for implementing these strategies.

研究の動機と目的

• 非線形かつ非ガウス型状態空間モデル（SSM）における潜在状態推定が困難であるという課題に対処すること。
• カルマンフィルタのような標準的な解析的解が適用できないSSMに対して、頑健なシステム同定技術を開発すること。
• パラメータ推定のため、逐次的モンテカルロ（SMC）手法とマージナリゼーションおよびデータ増強戦略を統合すること。
• システム同定において、粒子フィルタリングと最適化およびサンプリング手法を統合する原理的フレームワークを提供すること。
• 非線形SSMにおけるベイズ的および最尤推定の両方の定式化に対して、SMCベースのアルゴリズムの有効性を示すこと。

提案手法

• 非線形かつ非ガウス型SSMにおける潜在状態の事後分布を近似するために、特に粒子フィルタを用いた逐次的モンテカルロ（SMC）手法を採用する。
• 状態を統合することでパラメータを唯一の未知変数として扱うマージナリゼーションを用い、SMCによる最尤推定およびベイズ推定を可能にする。
• 状態を補助変数として扱うデータ増強を適用し、粒子ギブス法および粒子マルコフ連鎖モンテカルロ（PMCMC）を用いて事後分布のサンプリングを実行する。
• 状態およびパラメータの事後分布サンプリングにおける混合性と効率性を向上させるために、PGAS（Perturbed-Grouped Auxiliary Particle Filter）アルゴリズムを実装する。
• 粒子軌道からの十分統計量の確率的近似を導出し、EMに類似したアルゴリズムにおける再帰的更新を可能にする。
• 制約条件 |φ| ≤ 1 を組み込むために、道具となる分布を用いた受理採用法を用いて、粒子軌道が与えられた下でのパラメータの関連事後分布からのサンプリングを実行する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして逐次的モンテカルロ手法をマージナリゼーションと効果的に組み合わせ、非線形システム同定問題を解けるか？
• RQ2 データ増強および粒子ギブス法の役割は、非線形かつ非ガウス型状態空間モデルにおけるベイズ推定を可能にする上で果たすものであるか？
• RQ3 粒子フィルタリングは、システム同定における扱いが困難な尤度関数および十分統計量をどのように近似できるか？
• RQ4 非線形システム同定におけるSMCベースのEMおよびPMCMCの計算的・統計的利点は何か？
• RQ5 PGASアルゴリズムは、高次元かつ非線形なSSMにおける事後分布サンプリングの効率性と収束性をどのように向上させるか？

主な発見

• 特に粒子フィルタリングを用いたSMC手法は、非線形かつ非ガウス型SSMにおける扱いが困難な状態推定問題に対して、数値的に安定した解決策を提供する。
• PGASアルゴリズムにより、状態およびパラメータの事後分布サンプリングが効率的に行えるようになり、ベイズ推定における混合性と収束性が顕著に向上する。
• 粒子軌道からの十分統計量の確率的近似により、SSMにおけるEM型アルゴリズムの再帰的かつスケーラブルな実装が可能になる。
• 線形ガウス型SSMの例では、正確なパラメータ推定が達成され、最適なパラメータ推定値は φ ≈ Ψ/Σ および τ ≈ (Φ − Ψ²/Σ)⁻¹ に近似的に一致する。
• 切断正規分布およびガンマ分布を道具となる分布として用いた受理採用法により、制約条件下での関連事後分布からの有効なサンプリングが可能になる。
• SMCとマージナリゼーションおよびデータ増強戦略の統合により、解析的解が適用できない分野においても、非線形システム同定で最先端の性能が達成される。