[論文レビュー] Recurrent Gaussian Processes

César Mattos, Zhenwen Dai+4 more|arXiv (Cornell University)|Nov 20, 2015

Gaussian Processes and Bayesian Inference参考文献 27被引用数 26

ひとこと要約

本稿では、遷移関数および観測関数のガウス過程事前分布を用いて時系列ダイナミクスをモデル化するベイジアン非パrametric枠組みである再帰的ガウス過程（RGP）を提案する。また、潜在的自己回帰状態を伴う効率的で不確実性を考慮した学習を可能にするため、再帰的変分ベイズ（REVARB）推論フレームワークを提案し、少数データでの非線形システム同定および人間の運動モデリングにおいて最先端の性能を達成した。

ABSTRACT

We define Recurrent Gaussian Processes (RGP) models, a general family of Bayesian nonparametric models with recurrent GP priors which are able to learn dynamical patterns from sequential data. Similar to Recurrent Neural Networks (RNNs), RGPs can have different formulations for their internal states, distinct inference methods and be extended with deep structures. In such context, we propose a novel deep RGP model whose autoregressive states are latent, thereby performing representation and dynamical learning simultaneously. To fully exploit the Bayesian nature of the RGP model we develop the Recurrent Variational Bayes (REVARB) framework, which enables efficient inference and strong regularization through coherent propagation of uncertainty across the RGP layers and states. We also introduce a RGP extension where variational parameters are greatly reduced by being reparametrized through RNN-based sequential recognition models. We apply our model to the tasks of nonlinear system identification and human motion modeling. The promising obtained results indicate that our RGP model maintains its highly flexibility while being able to avoid overfitting and being applicable even when larger datasets are not available.

研究の動機と目的

• 時系列データにおける複雑な時系列的ダイナミクスをモデル化するためのベイジアン非パrametricフレームワークの開発。
• 標準的なGP-NARXモデルが隠れ状態を通じて不確実性を伝搬できないという限界の解消。
• 変分推論を用いて動的表現および潜在状態遷移をエンドツーエンドで学習可能にする。
• RNNに基づく順序的認識モデルを用いることでモデルの複雑さを低減し、最適化の効率を向上。
• 限られたデータを用いた非線形システム同定および人間の運動モデリングにおける手法の有効性の実証。

提案手法

• 隠れ状態が直接観測されず、ガウス過程事前分布を介して推論される潜在的自己回帰状態を有する新しい深層RGPモデルを提案。
• RGP層および時系列ステップ全体にわたる一貫性のある不確実性伝搬を実現するため、再帰的変分ベイズ（REVARB）フレームワークを構築。
• 再帰的ガウス過程モデルにおける事後分布が計算不能であるのを補うために、構造的推論を用いた平均場変分近似を採用。
• 変分事後分布をパrameter化するためのRNNベースの順序的認識モデルを導入し、変分パラメータの数を削減。
• 制御信号を用いて非線形システム同定および人間の運動生成の両方のタスクにモデルを適用。
• インダクティングポイントおよびスパースガウス過程近似を用いて、より長い系列へのスケーリングを実現。

実験結果

リサーチクエスチョン

• RQ1 再帰的ガウス過程事前分布を有するベイジアン非パrametricモデルは、時系列データにおける複雑な時系列的ダイナミクスを効果的に捉えることができるか？
• RQ2 深層再帰的ガウス過程構造において、不確実性を時間軸にわたって一貫して伝搬できるか？
• RQ3 潜在的自己回帰構造は、標準的なGP-NARXモデルと比較して一般化性能および表現学習を向上させることができるか？
• RQ4 REVARBフレームワークは、RGPモデルにおける効率的な学習および強力な正則化を可能にするか？
• RQ5 人間の運動生成タスクにおいて、未知の制御信号に対してもモデルは一般化可能か？

主な発見

• REVARBモデルは人間の運動予測においてテストRMSE 0.8600を達成し、GP-NARX（0.8987）およびMLP-NARX（1.2141）を上回った。
• 潜在的自己回帰構造のおかげで、57の運動出力すべてを1つのモデルで学習可能であり、GP-NARXは出力ごとに別々のモデルを必要としていた。
• 速度などの簡単な制御信号から、歩行と走行の間の遷移を含む現実的な人間の運動シーケンスを効果的に生成できた。
• REVARBフレームワークは、限られたデータでも不確実性の伝搬を効果的に処理し、過信の問題を緩和した。
• RNNベースの認識モデルにより、変分パラメータの数を顕著に削減し、最適化の効率が向上した。
• 本手法は少数データにおいて優れた一般化性能と頑健性を示し、低データ環境における適正性を裏付けた。