[論文レビュー] Learning unknown ODE models with Gaussian processes

Markus Heinonen, Çağatay Yıldız+3 more|arXiv (Cornell University)|Mar 12, 2018

Gaussian Processes and Bayesian Inference参考文献 21被引用数 21

ひとこと要約

この論文は、パrametricなベクトル場の形を仮定せずに、スパarsely、ノイズの多い観測から未知の非線形常微分方程式（ODE）ダイナミクスを直接学習する非パrametricなガウス過程ベースのフレームワーク、npODEを紹介する。微分関数をインダクションポイントを用いたガウス過程ベクトル場としてモデル化し、感度方程式を用いてODEを正確に統合することで、連続時間における正確な予測と補完が可能となり、人間の運動データセットにおいて既存手法を上回る性能を発揮する。

ABSTRACT

In conventional ODE modelling coefficients of an equation driving the system state forward in time are estimated. However, for many complex systems it is practically impossible to determine the equations or interactions governing the underlying dynamics. In these settings, parametric ODE model cannot be formulated. Here, we overcome this issue by introducing a novel paradigm of nonparametric ODE modelling that can learn the underlying dynamics of arbitrary continuous-time systems without prior knowledge. We propose to learn non-linear, unknown differential functions from state observations using Gaussian process vector fields within the exact ODE formalism. We demonstrate the model's capabilities to infer dynamics from sparse data and to simulate the system forward into future.

研究の動機と目的

• 未知のODE構造を完全に把握できない複雑な力学系をモデル化する課題に対処すること。
• 勾配マッチングの近似を避けることにより、観測データから真のODEベクトル場を直接学習するベイジアン非パラメトリック手法を開発すること。
• スパースでノイズの多い観測からでも、長期間にわたる連続時間の正確な予測とデータ補完を可能にすること。
• 不確実性の定量化と将来の状態予測をサポートする、完全に微分可能な正確なODE推論フレームワークを提供すること。

提案手法

• 未知のODEベクトル場 f(x) を、状態空間全体にわたる完全な共分散カーネルを有するベクトル値ガウス過程としてモデル化する。
• 推論を実行可能にするために、インダクションポイントを用いたスパースGP近似を用い、高次元データからのスケーラブルな学習を可能にする。
• 数値ソルバを用いて感度方程式による勾配を計算することで、尤度のエンドツーエンド最適化を可能にする正確なODE統合を実行する。
• 尤度は、全前方シミュレートされた軌道と観測データを比較することで計算され、勾配マッチングを回避する。
• 次元削減のための潜在空間表現としてPCAまたはGPLVMを用い、再構築は元の空間に射影して評価を行う。
• 部分的な観測からダイナミクスを学習することで、予測とデータ補完の両タスクをサポートする。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックなベイズモデルは、パラメトリックな形を仮定せずに、スパースでノイズの多い観測から任意の未知の非線形ODEダイナミクスを直接学習できるか？
• RQ2 感度に基づく勾配を用いた正確なODE統合は、勾配マッチングや近似手法と比較して、予測精度においてどのように異なるか？
• RQ3 モデルは、連続時間における長期間予測や欠損データ補完に一般化できるか？
• RQ4 感度方程式の使用は、非パラメトリックな設定において、完全なODE解の効率的かつ正確な最適化を可能にするか？

主な発見

• npODEは、人間の運動データセットにおける未来のポーズ予測において、軌道の5つのポーズ先を正確に予測する、最先端の性能を達成している。
• 特に長期間にわたる動的挙動の維持において、GPDM や VGPLVM よりも予測および補完タスクで優れた性能を発揮している。
• 平均して、予測タスクにおいて全データセットで最小の平均誤差を達成しており、優れた一般化性能を示している。
• 非定常ダイナミクスに対しても適応可能であり、20％のデータが欠損している状況でも、複雑な運動パターンを正確に再構築している。
• 感度に基づく勾配を用いた正確なODE統合は、勾配マッチングの近似よりも、より正確で安定した学習を実現している。