[論文レビュー] Non-Factorised Variational Inference in Dynamical Systems

Alessandro Davide Ialongo, Mark van der Wilk+2 more|arXiv (Cornell University)|Dec 14, 2018

Gaussian Processes and Bayesian Inference参考文献 8被引用数 7

ひとこと要約

本稿では、動的システムにおける不確実性のキャリブレーションを向上させるために、ガウス過程状態空間モデル（GPSSM）における非因子化変分推論を提案する。予測における過信を回避するため、潜在状態の事後分布を、各状態や誘導点に沿って因子化するのではなく、完全なGP遷移関数に条件づけることで、特に長い系列においても過信を避ける。実験では、標準的な因子化手法と比較して優れた不確実性評価を示した。

ABSTRACT

We focus on variational inference in dynamical systems where the discrete time transition function (or evolution rule) is modelled by a Gaussian process. The dominant approach so far has been to use a factorised posterior distribution, decoupling the transition function from the system states. This is not exact in general and can lead to an overconfident posterior over the transition function as well as an overestimation of the intrinsic stochasticity of the system (process noise). We propose a new method that addresses these issues and incurs no additional computational costs.

研究の動機と目的

• GPSSMにおける因子化変分推論で一般的に見られる過信と不確実性キャリブレーションの悪さを是正すること。
• 非線形ダイナミクスを有する時系列モデルにおける、事後分布の因子化選択が不確実性推定に与える影響を調査すること。
• 系列長に立方根のコストが生じないよう、完全なGP事後分布の依存関係を維持しつつスケーラブルな推論手法を開発すること。
• 予測不確実性とフィット感の観点から、非因子化事後分布を標準的な因子化手法および誘導点ベースの代替手法と比較すること。
• 異なる事後構造が学習されたダイナミクスおよび潜在状態軌道における不確実性伝播に与える影響を評価すること。

提案手法

• 潜在状態分布が、誘導点や独立要因ではなく、完全なGP遷移関数に依存する非因子化変分事後分布を提案する。
• 条件付き状態事後分布にマルコフ構造を用いる：$ q(\mathbf{x}_{t+1} \mid f, \mathbf{x}_t) $、これにより時間的依存関係を保持する。
• 誘導点を用いてGP事前分布を近似し、$ q(f) = p(f^\setminus\mathbf{u} \mid \mathbf{u}) q(\mathbf{u}) $ を通じて計算を tractable にする。
• 2つのスケーラブルな近似を導入する：『チャンク化』により条件付き集合のサイズを制限し、『U要因分解』により、誘導点 $ \mathbf{u} $ のみに条件づける。
• 変分下界における期待値をモンテカルロサンプルを用いて計算し、データチャンクごとの二重確率的最適化を実施する。
• 遷移関数 $ f $ に非パrametricなGP事前分布を用いることで、柔軟で非線形なダイナミクスと不確実性推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非因子化変分推論は、標準的な因子化手法と比較して、GPSSMにおける不確実性キャリブレーションをどのように改善するか？
• RQ2 潜在状態事後分布を完全なGP関数に条件づけるのと、誘導点にのみ条件づけるのとでは、どのような影響があるか？
• RQ3 非因子化事後分布は、計算コストを増加させることなく、長い系列においても正確な不確実性推定を維持できるか？
• RQ4 異なる事後因子化選択が、学習されたダイナミクスおよび予測性能に与える影響は何か？
• RQ5 変分GPSSM推論において、計算効率と不確実性の質の間にはどのようなトレードオフがあるか？

主な発見

• 非因子化事後分布は、特にデータが疎な領域において、因子化手法と比較して過信の不確実性推定を顕著に低減した。
• U要因分解法は、100個の誘導点を使用した場合、完全な非因子化事後分布と同等の性能を達成した。
• 因子化モデルはほぼ同一の結果を示したため、根本的な問題は因子化仮定そのものにあり、実装の詳細に起因するわけではないことが示唆された。
• U要因分解法により、系列長に線形に比例するスケーラブルな推論が可能となり、完全なGP条件づけの立方根コストを回避した。
• 非因子化事後分布は、複雑な非線形ダイナミクスを正確に捉え、2σ信頼区間の図解において適切にキャリブレーションされた不確実性を示した。
• キント遷移関数の実験では、非因子化およびU要因分解事後分布は真の事後分布と視覚的に区別できず、因子化モデルは過信かつキャリブレーションが不十分な不確実性を示した。