[論文レビュー] Identification of Gaussian Process State Space Models

Stefanos Eleftheriadis, Thomas F. W. Nicholson+2 more|arXiv (Cornell University)|May 30, 2017

Gaussian Processes and Bayesian Inference参考文献 31被引用数 11

ひとこと要約

本稿では、潜在状態の事後分布を近似するために双方向RNNを認識モデルとして用いることで、ガウス過程状態空間モデル（GPSSM）の同定にための変分推論フレームワークを提案する。本手法により、小規模なデータセットから非線形ダイナミクスを効率的に学習でき、部分的または遅延のある観測に対しても、正確な長期間予測と不確実性の定量化を実現する。

ABSTRACT

The Gaussian process state space model (GPSSM) is a non-linear dynamical system, where unknown transition and/or measurement mappings are described by GPs. Most research in GPSSMs has focussed on the state estimation problem, i.e., computing a posterior of the latent state given the model. However, the key challenge in GPSSMs has not been satisfactorily addressed yet: system identification, i.e., learning the model. To address this challenge, we impose a structured Gaussian variational posterior distribution over the latent states, which is parameterised by a recognition model in the form of a bi-directional recurrent neural network. Inference with this structure allows us to recover a posterior smoothed over sequences of data. We provide a practical algorithm for efficiently computing a lower bound on the marginal likelihood using the reparameterisation trick. This further allows for the use of arbitrary kernels within the GPSSM. We demonstrate that the learnt GPSSM can efficiently generate plausible future trajectories of the identified system after only observing a small number of episodes from the true system.

研究の動機と目的

• 非線形ガウス過程状態空間モデル（GPSSM）における、潜在状態と遷移関数が未知であるという長年の課題に取り組む。
• マルコフ構造を持つ構造的変分事後分布を導入することで、GPSSMにおける同定不能性の問題を克服する。
• 再パラメータライゼーションテクニックを用いて、周辺尤度の下界を効率的に計算することで、GPSSMの効率的学習を可能にする。
• モデルと認識モデルのエンドツーエンド最適化を可能にすることで、任意のカーネル関数をGPSSMに組み込む。
• 実際に観測されたデータが数エピソード分しかなくとも、モデルが妥当な長期予測軌道を生成できることを示す。

提案手法

• 真の状態ダイナミクスのマルコフ性を踏襲する、構造的ガウス変分事後分布を潜在状態に提案する。
• 全系列にわたる滑らかな推定を可能にするために、認識モデルとして双方向再帰ニューラルネットワーク（BRNN）を用いる。
• GPSSMに再パラメータライゼーションテクニックを適用し、周辺尤度の変分下界を効率的かつ微分可能に最適化可能にする。
• 誘導点を用いたスパースGPを用いてGP遷移関数を近似することで、カーネル選択の柔軟性を保ちつつスケーラブルな推論を実現する。
• 確率的勾配降下法（Adam最適化法）を用いて、エンドツーエンドでモデルのハイパーパrameter、誘導点、認識モデルパラメータを同時に最適化する。
• 学習済み事後分布を用いて、同定されたダイナミクス下でGPSSMからサンプリングすることで、将来の軌道を生成し、不確実性の定量化を実現する。

実験結果

リサーチクエスチョン

• RQ1 双方向RNNを認識モデルとして用いる構造的変分事後分布は、GPSSMにおける真の潜在状態事後分布を効果的に近似できるか？
• RQ2 提案された変分推論フレームワークは、小規模でエピソード的かつ不完全なデータからGPSSMの有効なシステム同定を可能にするか？
• RQ3 真のシステムの数エピソード分の観測のみで、モデルは長期予測に一般化できるか？
• RQ4 部分的または遅延のある観測（例：遅延した制御入力）から、GPSSMは正しくダイナミクスを回復できるか？
• RQ5 再パラメータライゼーションテクニックの使用により、任意のカーネル関数を用いたGPSSMの効率的かつ安定した最適化が可能になるか？

主な発見

• 提案されたGPSSMは、ダブルペンダラム系の14エピソード分の観測のみで、15ステップ以上（1.5秒間）にわたり正確な予測を維持する、妥当な長期予測軌道を生成できる。
• 角速度を観測せずに、ペンダラムの角度のみからも、モデルはダブルペンダラムのダイナミクスを効果的に学習しており、状態表現学習の有効性を示している。
• モデルの不一致が生じる領域では、不確実性が正しく上昇しており、アクチュエータダイナミクス実験でその妥当性が確認された。
• 認識モデルとして双方向RNNを用いることで、状態事後分布の効果的なスムージングが可能となり、推論と学習性能が向上した。
• 再パラメータライゼーションに基づく変分推論フレームワークにより、効率的な最適化が可能となり、RBFカーネルやマトérnカーネルを含む任意のカーネル関数の使用が可能になった。
• 観測のタイミングが制御信号とずれている状況でも、モデルは未観測のテストエピソードに良好に一般化しており、観測遅延に対するロバストネスを示している。