[論文レビュー] Learning interpretable continuous-time models of latent stochastic dynamical systems

Lea Duncker, Gergő Bohner+2 more|arXiv (Cornell University)|Feb 12, 2019

Gaussian Processes and Bayesian Inference参考文献 16被引用数 30

ひとこと要約

本論文では、不規則にサンプリングされた高次元観測値から、固定点と局所ヤコビアンに条件付けられた漂移関数に対するガウス過程事前分布を用いた確率微分方程式（SDE）を用いて、解釈可能な連続時刻モデルを学習する手法を提案する。このアプローチは変分推論とスパースGP近似を組み合わせ、潜在的軌道とダイナミクスを推論し、数値的安定性が向上した非線形系の絵画的分析を可能にする。

ABSTRACT

We develop an approach to learn an interpretable semi-parametric model of a latent continuous-time stochastic dynamical system, assuming noisy high-dimensional outputs sampled at uneven times. The dynamics are described by a nonlinear stochastic differential equation (SDE) driven by a Wiener process, with a drift evolution function drawn from a Gaussian process (GP) conditioned on a set of learnt fixed points and corresponding local Jacobian matrices. This form yields a flexible nonparametric model of the dynamics, with a representation corresponding directly to the interpretable portraits routinely employed in the study of nonlinear dynamical systems. The learning algorithm combines inference of continuous latent paths underlying observed data with a sparse variational description of the dynamical process. We demonstrate our approach on simulated data from different nonlinear dynamical systems.

研究の動機と目的

• 不規則にサンプリングされた高次元観測値から、潜在的連続時刻確率的力学系の半パラメトリックモデルを構築すること。
• 固定点と局所ヤコビアンに条件付けられたガウス過程による漂移関数のモデリングにより、標準的な力学系の図像と一致する解釈可能性を確保すること。
• 誘導点を用いたスパース変分形式により、潜在的軌道とダイナミクスのロバストな推論を可能にすること。
• 最適化中に共分散行列の対称的変化を明示的に取り入れることで、数値的安定性を向上させること。
• 多様な挙動を示すシミュレートされた非線形力学系上で本手法を実証すること。

提案手法

• ダイナミクスはウィーナー過程によって駆動される非線形SDEとしてモデル化され、漂移関数は学習された固定点とそれに対応するヤコビアン行列に条件付けられたガウス過程から抽出される。
• スパース変分推論フレームワークが採用され、誘導点を用いて漂移関数上の完全なGP事前分布を近似する。
• 推論手順は、平均と潜在状態の共分散に関する常微分方程式（ODE）の連立系を、双対変数について時間の逆方向に解く。
• 固定点方程式はラグランジアンに対する変分法を用いて導出され、状態共分散行列の対称的変化を組み込むことで安定性が向上する。
• 潜在的経路推論には前向きEuler積分が、双対変数には後向き積分が用いられ、更新に学習率パラメータを必要としない。
• 漂移関数にかかる期待値は、潜在状態上の変分分布を用いて計算される。

実験結果

リサーチクエスチョン

• RQ1 不規則にサンプリングされた高次元観測値から、非パラメトリックな連続時刻ダイナミクスモデルを学習できるか？
• RQ2 古典的力学系理論における固定点と局所ヤコビアンを用いて、学習されたダイナミクスをどのように解釈可能にするか？
• RQ3 状態共分散行列の対称的変化を明示的にモデル化することで、推論安定性にどのような影響を与えるか？
• RQ4 誘導点を用いたスパースGP事前分布と変分推論を組み合わせることで、潜在的軌道とダイナミカル構造の両方を効果的に回復できるか？
• RQ5 学習率チューニングなしで、本手法が従来手法に比べて数値的安定性と収束性においてどのように優れているか？

主な発見

• 本手法は固定点と局所ヤコビアンを特定することで、非線形系の絵画的分析を可能にする解釈可能なダイナミクスを効果的に学習した。
• 共分散行列の対称的変化を明示的に取り扱うことで、従来の変分推論手法に比べて数値的安定性が向上した。
• 固定点更新がODEの解を直接用いて計算されるため、学習率パラメータを必要とせず、推論アルゴリズムは収束した。
• 本手法は、多様な非線形系から得られたシミュレートデータにおいて、正確に潜在的軌道とダイナミカル構造を回復した。
• 誘導点を用いたスパース変分推論の使用により、観測値が高次元的かつ不規則にサンプリングされているにもかかわらず、スケーラブルな学習が可能となった。
• 本モデルは、固定点や安定性特性といった幾何的特徴を通じて解釈可能性を維持しながら、漂移関数の柔軟で非パラメトリックな表現を提供する。