[論文レビュー] Variational Gaussian Process State-Space Models

Roger Frigola, Yutian Chen+1 more|arXiv (Cornell University)|Jun 18, 2014

Gaussian Processes and Bayesian Inference参考文献 17被引用数 99

ひとこと要約

本稿では、スパースガウス過程を用いた変分ベイズ推論フレームワークを提案し、非線形状態空間モデルに対して、不確実性の定量化を伴う効率的でスケーラブルな学習を可能にする。補助系において変分推論と逐次モンテカルロを組み合わせることで、線形の計算複雑性と取り扱える事後分布近似を達成し、予測速度においてMCMCベースの手法を上回りながらも、精度を維持する。

ABSTRACT

State-space models have been successfully used for more than fifty years in different areas of science and engineering. We present a procedure for efficient variational Bayesian learning of nonlinear state-space models based on sparse Gaussian processes. The result of learning is a tractable posterior over nonlinear dynamical systems. In comparison to conventional parametric models, we offer the possibility to straightforwardly trade off model capacity and computational cost whilst avoiding overfitting. Our main algorithm uses a hybrid inference approach combining variational Bayes and sequential Monte Carlo. We also present stochastic variational inference and online learning approaches for fast learning with long time series.

研究の動機と目的

• 過学習を防ぎながら、複雑な非線形力学系をスケーラブルに非パrametricベイズ的手法で学習するためのアプローチを開発すること。
• ガウス過程の事前分布を用いて、非線形状態遷移関数および観測関数の取り扱える事後推論を可能にすること。
• 特に長い時系列に対して、MCMCベースのスムージング手法と比較して予測の計算コストを低減すること。
• リアルタイムまたは大規模な学習シナリオに適したオンラインおよび確率的変分推論をサポートすること。
• 力学系に関する事前の知識が限られている、あるいは存在しない状況においても、原則的かつ整合性のあるモデルを提供すること。

提案手法

• 滑らかさと連続性を表現するために、状態遷移関数および観測関数にスパースガウス過程を非パrametric事前分布として用いる。
• ハイブリッド推論戦略を採用：潜在状態およびハイパーパramータの事後分布の近似には変分ベイズを、補助系におけるスムージングには逐次モンテカルロを組み合わせる。
• 期待値伝播と確率的勾配更新による効率的最適化を可能にする、変分下界を導入する。
• 長時間系列にスケーリングするため、確率的変分推論（SVI）とオンライン学習を適用し、トレーニング時間を短縮する。
• 補助系における推論に固定ラグ粒子スムージングを用い、効率的な事後分布近似を実現する。
• 非線形力学系における取り扱える事後分布を導出し、時系列長に依存しない高速な確率的予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程を用いた非パrametricベイズ的手法は、過学習を避けながら複雑な非線形状態空間モデルを学習できるか？
• RQ2 変分推論と逐次モンテカルロをどのように組み合わせることで、非線形SSMにおけるスケーラブルな学習を達成できるか？
• RQ3 GP-SSMにおける事後予測の計算複雑性を、時系列長に依存しない形にできるか？
• RQ4 確率的およびオンライン変分推論は、長時間系列における学習をどの程度高速化できるか？
• RQ5 神経パルス列データにおけるリミットサイクルなどの複雑な力学的挙動を、モデルはどの程度正しく捉えることができるか？

主な発見

• 変分GP-SSMは、Lorenz-96データセットでテストRMSE 1.15を達成し、GP-NARXおよび線形モデルを上回った。
• 対数予測密度は -1.61 を記録し、PMCMCベースの手法と同等の性能を示したが、予測の推論時間が著しく速く（テスト予測で0.14秒対421秒）なった。
• 確率的変分推論（SVI）により、10,000長の時系列に対するトレーニング時間が4.12分にまで短縮された。これはPMCMCの547分と比較して顕著な短縮である。
• モデルはラット海馬パルス列データにおいて6 Hzの周期的パターンとリミットサイクルの力学的挙動を正しく捉えた。事後サンプルは一貫したアトラクタ行動を示した。
• 状態遷移関数の事後分布は、リミットサイクル付近で高い信頼性を示しており、非線形力学の学習が堅牢に行われたことを裏付けた。
• 従来のMCMCベースの手法とは異なり、時系列長に依存しない高速で不確実性を考慮した予測が可能になった。