[論文レビュー] Online state and parameter estimation in Dynamic Generalised Linear Models

Rui Miguel Vieira, Darren J. Wilkinson|arXiv (Cornell University)|Aug 30, 2016

Gaussian Processes and Bayesian Inference参考文献 15被引用数 4

ひとこと要約

本稿では、動的一般化線形モデル（DGLMs）に対するオンラインベイジアン推論を、逐次モンテカルロ（SMC）手法を用いて提案する。十分統計量に基づく手法と、リウとウェストのパーティクルフィルタリングを比較する。十分統計量手法は、パーティクル貧困化を遅らせ、状態およびパラメータ推定における平均二乗誤差（MSE）を低減し、正確な長期予測を可能にする。リウとウェストの手法に比べて推定精度が優れているが、計算コストが高いため、複雑な時間的構造を示すストリーミングデータにおいて特に顕著である。

ABSTRACT

Inference for streaming time-series is tightly coupled with the problem of Bayesian on-line state and parameter inference. In this paper we will introduce Dynamic Generalised Linear Models, the class of models often chosen to model continuous and discrete time-series data. We will look at three different approaches which allow on-line estimation and analyse the results when applied to different real world datasets related to inference for streaming data. Sufficient statistics based methods delay known problems, such as particle impoverishment, especially when applied to long running time-series, while providing reasonable parameter estimations when compared to exact methods, such as Particle Marginal Metropolis-Hastings. State and observation forecasts will also be analysed as a performance metric. By benchmarking against a "gold standard" (off-line) method, we can better understand the performance of on-line methods in challenging real-world scenarios.

研究の動機と目的

• 複雑で非線形的なパターンを示すストリーミング時系列データにおけるリアルタイムベイジアン推論の課題に対処すること。
• 実世界のデータセットを用いて、オンラインSMC手法（特に十分統計量に基づくフィルタリング、ストルヴィクの手法、リウとウェストのパーティクルフィルタリング）の性能を評価・比較すること。
• 長期間にわたる時系列における、計算効率、推定精度、パーティクル貧困化へのロバストネスのトレードオフを評価すること。
• 状態およびパラメータ推定において、ゴールドスタンダードのオフライン手法（パーティクル周辺メトロポリス・ハスティングス：PMMH）と比較してオンライン手法の性能をベンチマークすること。
• 異なるオンライン推論戦略下での状態および観測値の予測性能を評価すること。

提案手法

• 観測分布およびシステム分布に柔軟性を持たせるために、ポアソン分布やガウス分布を含む家族を含む、動的一般化線形モデル（DGLMs）を用いて時系列データをモデル化する。
• 逐次モンテカルロ（SMC）とリサンプリングを用いて、ベイジアン枠組み内でオンラインで状態およびパラメータ推定を実行する。
• 十分統計量に基づくフィルタリングを採用し、パラメータ推定を状態空間から分離することで、パーティクルの劣化を低減し、貧困化を遅らせる。
• 3つのオンライン推論アルゴリズムを実装する：リウとウェスト（LW）パーティクルフィルタリング、ストルヴィクの補助パーティクルフィルタ、十分統計量に基づくSMC手法。
• DGLMフレームワークにおける共役更新を可能にするために、分散パラメータには対数正規分布の事前分布、共分散行列には逆ウィシャート事前分布を用いる。
• LWフィルタでパラメータ更新の安定化とパーティクル重みの分散低減を図るために、平滑化パラメータ（δ = 0.98）を導入する。

実験結果

リサーチクエスチョン

• RQ1 十分統計量に基づくSMC手法は、長期間にわたる時系列における状態推定精度およびパーティクル貧困化へのロバストネスにおいて、リウとウェストのパーティクルフィルタリングに比べてどのように異なるか？
• RQ2 ゴールドスタンダードのパーティクル周辺メトロポリス・ハスティングス（PMMH）手法と比較した場合、オンラインSMC手法がどれほど正確なパラメータ推定を達成できるか？
• RQ3 十分統計量に基づく手法は、実世界のストリーミングデータにおいて、長期間（例：6日間）にわたる信頼性の高い状態および観測値の予測を維持できるか？
• RQ4 DGLMsにおける異なるオンラインSMC手法の間で、計算コストと推定精度のトレードオフはどのようなものか？
• RQ5 異なるリサンプリング戦略およびパーティクル数（Np）は、DGLMsにおけるオンライン推論の安定性および性能にどのように影響するか？

主な発見

• 十分統計量に基づくSMC手法は、状態推定において顕著に低い平均二乗誤差（MSE）を達成した。例として、θ¹のMSEは0.2609であり、リウとウェスト手法（3.283）に比べて顕著に優れた精度を示した。
• リウとウェストのフィルタは、早期のパーティクル崩壊を示し、パラメータ推定が著しく劣化した。事後分散の推定値は、PMMHベンチマークから著しく逸脱した。
• 十分統計量手法は、パーティクル貧困化を遅らせ、5000イテレーションを経過しても安定したパラメータ推定を維持した。一方、リウとウェスト手法は数100イテレーションで崩壊した。
• 600ステップ（約6日間）の予測期間において、十分統計量に基づく手法のみが季節的パターンを正しく捉えた。リウとウェスト手法はトレンドを追跡できなかった。
• Np = 1000の条件下で、十分統計量手法は大多数の状態についてMSEが0.3未満を達成し、低パーティクル数でも安定性を示した。1イテレーションあたりの計算時間は1ミリ秒未満であった。
• 計算コストが高かったにもかかわらず、リウとウェスト手法は速度面で優位（1イテレーションあたり4.626 ms）を示したが、推定品質が著しく劣っていたため、信頼できる推論には不適切であった。