[論文レビュー] Scalable Variational Inference for Dynamical Systems

Nico S. Gorbach, Stefan Bauer+1 more|arXiv (Cornell University)|May 19, 2017

Gaussian Processes and Bayesian Inference参考文献 9被引用数 9

ひとこと要約

本稿では、数値積分を回避する勾配マッチングを用いて、未観測状態とモデルパラメータを同時に推定するスケーラブルな変分推論フレームワークを提案する。1000状態のシステムを400秒未塔で推論可能であり、部分観測やモデル不適合の下でも高い精度を維持する。

ABSTRACT

Gradient matching is a promising tool for learning parameters and state dynamics of ordinary differential equations. It is a grid free inference approach, which, for fully observable systems is at times competitive with numerical integration. However, for many real-world applications, only sparse observations are available or even unobserved variables are included in the model description. In these cases most gradient matching methods are difficult to apply or simply do not provide satisfactory results. That is why, despite the high computational cost, numerical integration is still the gold standard in many applications. Using an existing gradient matching approach, we propose a scalable variational inference framework which can infer states and parameters simultaneously, offers computational speedups, improved accuracy and works well even under model misspecifications in a partially observable system.

研究の動機と目的

• 大規模な動的システムにおける数値積分の計算ボトル neck を解消すること。
• 未観測または部分観測変数の取り扱いに限界を示す既存の勾配マッチング手法の課題を克服すること。
• 疎な観測やモデル不適合の下でも精度を維持するスケーラブルな推論フレームワークを開発すること。
• 数値積分に依存せずに、決定的ODEにおける状態とパラメータの効率的かつ同時推論を可能にすること。

提案手法

• 潜在状態とモデルパラメータを同時に推定するための変分推論アプローチを、平均場近似を用いて定式化する。
• 状態軌道にガウス過程事前分布を適用し、微分可能関数を用いたカーネルを導入して勾配マッチングを可能にする。
• GPの性質とカーネルの微分を用いて、状態微分の事後分布に対して閉形式の表現を導出する。
• ODEのダイナミクスとGPに基づく微分推定値を組み合わせるためのプロダクト・オブ・エキスパート形式を採用する。
• グリッドフリーで反復的な最適化スキームを採用し、状態事後分布とパラメータ推定値の間を交互に更新する。
• 変分推論のスケーラビリティを活用し、標準的なハードウェア上でも1000状態までのシステムを効率的に処理できる。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルで高精度な変分推論が、部分観測の動的システムにおける大規模な状態とパラメータの同時推定に適用可能か。
• RQ2 本手法は、数値積分と既存の勾配マッチング手法と比べて、実行時間と精度の点でどのように差を示すか。
• RQ3 本手法は、モデル不適合や疎な観測、未観測状態変数に対してどの程度耐性を示せるか。
• RQ4 システム次元が増加する際、特にLorenz 96のような高次元ODEにおいて、性能が維持されるか。

主な発見

• 標準的なラップトップ上で1000状態の動的システムを400秒未塔で推論可能であり、強力なスケーラビリティを示している。
• 1000状態のLorenz 96システムで1/3が未観測の状態でも、未観測状態のRMSEが非常に低く、システムサイズに依存しない。
• 高ノイズと部分観測の下で、ベースラインの勾配マッチング（AGM）と比較して、ODEパラメータ推定のRMSEを最大80％まで低減した。
• 本手法の結果を初期値として数値積分を初期化すると、標準的手法よりも著しく低い推定誤差が得られた。
• 疎な観測や不完全な観測の状況でも、実行時間と精度の両面で既存の勾配マッチング技術を上回った。
• 関数形の不適合が生じても、本手法は頑健性を示しており、今後のモデル仮定の緩和に有望である。