[論文レビュー] Overcoming Mean-Field Approximations in Recurrent Gaussian Process Models

Alessandro Davide Ialongo, Mark van der Wilk+2 more|arXiv (Cornell University)|Jan 1, 2019

Gaussian Processes and Bayesian Inference被引用数 10

ひとこと要約

本稿では、ガウス過程状態空間モデル（GPSSM）における変分推論の新手法VCDTを提案する。この手法は、潜在的軌道とGP遷移関数の事後分布の間の明示的結合を導入することで、平均場近似を排除する。状態とダイナミクスの間の依存関係をモデル化することにより、計算複雑性を増加させることなく、予測性能の向上とよりキャリブレーションされた不確実性推定を達成する。

ABSTRACT

We identify a new variational inference scheme for dynamical systems whose transition function is modelled by a Gaussian process. Inference in this setting has either employed computationally intensive MCMC methods, or relied on factorisations of the variational posterior. As we demonstrate in our experiments, the factorisation between latent system states and transition function can lead to a miscalibrated posterior and to learning unnecessarily large noise terms. We eliminate this factorisation by explicitly modelling the dependence between state trajectories and the Gaussian process posterior. Samples of the latent states can then be tractably generated by conditioning on this representation. The method we obtain (VCDT: variationally coupled dynamics and trajectories) gives better predictive performance and more calibrated estimates of the transition function, yet maintains the same time and space complexities as mean-field methods. Code is available at: github.com/ialong/GPt.

研究の動機と目的

• 平均場変分推論の限界を解消することを目的とし、特に繰り返しGPモデルにおいて、事後分布のキャリブレーションが不正確になり、ノイズが過大評価される傾向があることに対処する。
• 平均場手法のスケーラビリティを維持しつつ、潜在状態と遷移関数の間の独立性仮定を排除する、計算効率の良い推論スキームを開発すること。
• 特にデータが少ない状況において、ベイジアン動的システムにおける不確実性の定量化と予測性能を向上させること。
• 真の状態軌道と遷移ダイナミクスの間の依存関係をより正確に反映する、より優れた事後分布近似を提供すること。

提案手法

• 潜在状態軌道XとGP遷移関数fの間の依存関係を明示的にモデル化する非因子化された変分事後分布を提案し、状態事後分布をGPのインダクション変数uに条件づける。
• GP事後分布の低ランク構造を活用した構造化された変分近似q(X | u, f)を用い、時間的・空間的計算複雑性をO(NM²)に保ち、平均場手法と同等のスケーラビリティを維持する。
• GPのインダクション変数を条件とした状態の条件付き事後分布をパrameterizeする認識モデルを採用し、エンドツーエンドの学習を可能にする。
• 状態とダイナミクスの同時事後分布を考慮する変分下界を導出することで、q(X)q(f)に起因するバイアスを回避する。
• 変分目的関数における期待値をモンテカルロサンプリングで近似し、勾配最適化を用いることで、計算の tractability（取り扱いやすさ）を確保する。
• 二重に確率的（doubly stochastic）な推論スキームを導入し、標準的な変分GP手法と同等の計算効率を維持しながら、効率的な勾配推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 潜在状態と遷移関数の間の平均場仮定を排除することで、GPSSMにおける事後分布のキャリブレーションが向上するか？
• RQ2 平均場手法と同等の計算複雑性を維持しながら、非因子化された変分事後分布を構築できるか？
• RQ3 予測性能と不確実性推定の観点から、本手法は既存の手法と比較して優れているか？
• RQ4 平均場推論が動的システムにおいてプロセスノイズを過大評価する傾向を、本手法は軽減するか？

主な発見

• VCDTは平均場ベースラインと比較して顕著に優れた予測性能を示し、特にカートアンドポールのベンチマークにおいて、NLPPが最良の因子化手法と比較して2.5倍向上した。
• 本手法は因子化アプローチと比較して、学習されたプロセスノイズ標準偏差を最大50％まで低減した。これは、ノイズではなくダイナミクスによってデータがより適切に説明されていることを示唆する。
• システム同定ベンチマークにおいて、VCDTはすべてのGPSSMベースラインをNLPPとRMSEの両面で上回り、特にキャリブレーションが重要な高ノイズ環境下で顕著な優位性を示した。
• VCDTの事後分布は因子化手法よりもキャリブレーションが優れており、独立性仮定により生じる過信と一貫性の欠如による不正確なダイナミクス推定を回避している。
• カートアンドポールのような短いシーケンス・低ノイズ設定においても、VCDTはPR-SSM（特殊ケース）と同等の性能を達成しながら、完全なベイジアン不確実性定量化を維持している。
• 本手法は平均場手法と同様にO(NM²)の時間的・空間的計算複雑性を維持しており、近似のオーバーヘッドなしに長いシーケンスへのスケーラビリティを実現している。