[論文レビュー] Closed-form Inference and Prediction in Gaussian Process State-Space Models

Alessandro Davide Ialongo, Mark van der Wilk+1 more|arXiv (Cornell University)|Dec 10, 2018

Gaussian Processes and Bayesian Inference参考文献 5被引用数 9

ひとこと要約

本稿では、誘導点とマルコフ構造を用いて、潜在状態および遷移関数の両方について決定的で線形時間の推論を可能にする、ガウス過程状態空間モデル（GPSSMs）の閉形式変分推論手法を提案する。この手法により、モンテカルロサンプリングを用いずに、非線形ダイナミクスの正確なモデリング、複数ステップ先予測、事後分布の品質評価が可能となり、合成的および物理的システムにおけるフィルタリング、ノイズ除去、次元数推定の面で成功が示された。

ABSTRACT

We examine an analytic variational inference scheme for the Gaussian Process State Space Model (GPSSM) - a probabilistic model for system identification and time-series modelling. Our approach performs variational inference over both the system states and the transition function. We exploit Markov structure in the true posterior, as well as an inducing point approximation to achieve linear time complexity in the length of the time series. Contrary to previous approaches, no Monte Carlo sampling is required: inference is cast as a deterministic optimisation problem. In a number of experiments, we demonstrate the ability to model non-linear dynamics in the presence of both process and observation noise as well as to impute missing information (e.g. velocities from raw positions through time), to de-noise, and to estimate the underlying dimensionality of the system. Finally, we also introduce a closed-form method for multi-step prediction, and a novel criterion for assessing the quality of our approximate posterior.

研究の動機と目的

• モンテカルロサンプリングを回避する、GPSSMsの完全に解析的な変分推論スキームの開発を目的とする。
• マルコフ構造と誘導点近似を活用することで、効率的かつ線形時間の推論を実現することを目的とする。
• 複数ステップ先予測のための閉形式手法と、テスト時における予測事後分布品質を評価する基準を提供することを目的とする。
• モデルが非線形ダイナミクスを回復できること、信号のノイズ除去ができること、欠損状態（例：位置から速度を補完）を効果的に補完できること、および潜在次元数を推定できることを示すこと

提案手法

• 状態 $q(\mathbf{x})$ と遷移関数 $q(f)$ の上での因子化された近似事後分布を用いる二重変分推論フレームワークを採用する。
• 誘導変数 $\mathbf{u}$ を用いたスパースGP近似を適用し、取り扱い可能な下界（ELBO）を導出する。
• 状態にはガウス分布を、誘導変数には自由形式の分布を用いることで、閉形式の期待値が可能になる。
• 近似事後分布と真の予測分布のKLダイバージェンスを測定することで、予測不確実性を評価するための拡張ELBO $\mathcal{L}'$ を導出する。
• 将来の状態分布のモーメントマッチングと変分最適化に基づく、新しい複数ステップ先予測手法を導入する。
• テストデータが不要な状態で、近似事後分布の品質を定量化するため、元のELBOと拡張ELBOの差 $\mathcal{L} - \mathcal{L}'$ を代理指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 GPSSMsにおける完全に解析的な変分推論は、モンテカルロサンプリングを用いずに、正確な推論と予測を達成できるか？
• RQ2 プロセスノイズと観測ノイズの下で、この手法は非線形ダイナミクスをどれほど正確にモデリングできるか？
• RQ3 モデルは欠損状態（例：位置から速度を推定）を効果的に補完でき、信号をノイズ除去できるか？
• RQ4 拡張ELBOは、テスト時における予測事後分布品質を信頼できる指標として提供できるか？
• RQ5 ノイズのある観測から、真の潜在的ダイナミクスの次元数を推定できるか？

主な発見

• マルコフ構造と誘導点近似を活用することで、時間系列長に対して線形時間の計算量を達成した。
• 「kink」と「Cart and Pole」のシステムで、ノイズのあるデータから非線形遷移関数を効果的に学習した。
• 非線形領域では複数ステップ先予測の性能が低下し、ELBOの劣化が線形領域の -0.22 から非線形領域の -46.9 にまで増加した。
• Cart and Poleデータセットでは、ELBOの最大値が真の潜在次元数（5D）付近に現れ、次元数推定が有効に機能した。
• 元のELBOと拡張ELBOの差 $\mathcal{L} - \mathcal{L}'$ は予測不確実性を定量化し、テストデータが不要な状態で予測精度と相関するため、テスト時における品質評価が可能になった。
• モーメントマッチングによる閉形式の予測分布はサンプリングの代替として信頼性が高く、ELBOの差が近似品質の原理的指標として機能した。