[論文レビュー] Probabilistic Recurrent State-Space Models

Andreas Doerr, Christian Daniel+5 more|ArXiv.org|Jan 31, 2018

Gaussian Processes and Bayesian Inference参考文献 28被引用数 9

ひとこと要約

本稿では、ガウス過程と二重確率的変分推論を組み合わせることで、スケーラブルなフレームワークである確率的再帰的状態空間モデル（PR-SSM）を提案する。この手法により、潜在状態遷移をアンロールし、滑らかな時系列相関を保持するための扱いやすい変分近似を用いることで、非線形で確率的な状態空間モデルのロバストかつエンドツーエンドの訓練が可能になる。実世界のシステム同定ベンチマーク、特に高次元かつ不安定なダイナミクスを含む問題において、最先端の性能を達成した。

ABSTRACT

State-space models (SSMs) are a highly expressive model class for learning patterns in time series data and for system identification. Deterministic versions of SSMs (e.g. LSTMs) proved extremely successful in modeling complex time series data. Fully probabilistic SSMs, however, are often found hard to train, even for smaller problems. To overcome this limitation, we propose a novel model formulation and a scalable training algorithm based on doubly stochastic variational inference and Gaussian processes. In contrast to existing work, the proposed variational approximation allows one to fully capture the latent state temporal correlations. These correlations are the key to robust training. The effectiveness of the proposed PR-SSM is evaluated on a set of real-world benchmark datasets in comparison to state-of-the-art probabilistic model learning methods. Scalability and robustness are demonstrated on a high dimensional problem.

研究の動機と目的

• 複雑な潜在状態の依存関係のため、訓練が困難である完全に確率的で非線形な状態空間モデル（SSM）のロバストかつスケーラブルな訓練の課題に対処すること。
• 従来の手法が潜在状態事後分布における時系列相関を捉えられず、訓練が不安定またはバイアスがかかるという限界を克服すること。
• 初期状態分布のためのスケーラブルでバッチ学習可能な認識モデルを用いることで、高次元かつ不安定なシステムダイナミクスの有効な学習を可能にすること。
• 真の事後分布構造と潜在状態の時系列相関を維持する変分推論フレームワークの開発により、予測不確実性とモデルのロバスト性を向上させること。

提案手法

• 時間軸に沿って潜在状態遷移をアンロールする新しいモデル定式化を提案し、時間方向のバックプロパゲーションを可能にするとともに、潜在ダイナミクスにおける時系列相関を保持する。
• 遷移関数と観測関数をモデル化するために、ガウス過程を用いた二重確率的変分推論スキームを採用し、非パラメトリックで柔軟なダイナミクスモデリングを可能にする。
• 初期潜在状態分布のための認識モデルを導入し、バッチ学習を可能にするとともに、特に遅いまたは不安定なシステムにおいて訓練の安定性を向上させる。
• 潜在状態事後分布の完全な時系列相関構造を保持する扱いやすい変分近似を用いる。これに対して、従来の手法は因子化または独立分布で近似していた。
• スケーラビリティを確保しながらも予測精度を維持するために、モーメントマッチングとスパースGP近似（例：100個の誘導点）を適用する。
• 勾配ベース最適化とサンプルベース推論を組み合わせることで、原理的で不確実性を伴う複雑な非線形ダイナミクスを、効率的に学習する。

実験結果

リサーチクエスチョン

• RQ1 複雑な時系列依存性を示す高次元で非線形な時系列データに対して、確率的再帰的状態空間モデルをロバストかつスケーラブルに訓練できるか？
• RQ2 潜在状態事後分布における完全な時系列相関を保持することで、因子化された変分近似と比較して、訓練の安定性と予測性能が顕著に向上するか？
• RQ3 初期状態分布のための認識モデルが、特に不安定または遅い力学系において、訓練収束と一般化性能を向上させるか？
• RQ4 実世界のシステム同定ベンチマークにおいて、長期予測精度と不確実性のキャリブレーションの観点から、PR-SSMは最先端の手法と比較してどのように差をつけるか？

主な発見

• PR-SSMは、Actuator、Ballbeam、Drives、Furnace、Dryerなどの実世界のシステム同定ベンチマークにおいて、最先端の性能を達成した。
• 特に高次元かつ不安定なシステムにおいて、GP-NARX、NIGP、REVARB、MSGP、SS-GP-SSMと比較して、より優れた長期予測精度を示した。
• 提案された二重確率的変分推論スキームにより、大規模データセットにおけるスケーラブルな訓練が可能となり、一部のベースラインがフルバッチ学習が不可能な状況でも性能が維持された。
• 初期状態分布のための認識モデルは、特に遅いまたは不安定なダイナミクスを示す状況において、訓練の安定性と収束性を顕著に向上させた。
• 潜在状態事後分布における完全な時系列相関を保持することで、因子化または独立近似を用いる手法と比較して、より正確な不確実性推定と優れた一般化性能を達成した。
• 高次元問題に対しても効果的に対処でき、最大500ステップの時系列と複雑な非線形ダイナミクスを有するデータセットにおいても、スケーラビリティとロバスト性を示した。