[論文レビュー] HyperSINDy: Deep Generative Modeling of Nonlinear Stochastic Governing Equations

Mozes Jacobs, Bingni W. Brunton+3 more|arXiv (Cornell University)|Oct 7, 2023

Model Reduction and Neural Networks被引用数 5

ひとこと要約

HyperSINDy は、変分オートエンコーダーとハイパーネットワークを用いて、ノイズ駆動係数を有する確率的常微分方程式をパラメータ化することで、高次元データからスパースで解釈可能な確率的微分方程式を同定する、変分推論に基づく深層生成モデルを導入する。この手法により、不確実性評価を伴う高精度でスケーラブルな支配方程式の同定が可能となり、従来の手法に比べて高次元確率的システムにおいて優れた性能を発揮する。

ABSTRACT

The discovery of governing differential equations from data is an open frontier in machine learning. The sparse identification of nonlinear dynamics (SINDy) \citep{brunton_discovering_2016} framework enables data-driven discovery of interpretable models in the form of sparse, deterministic governing laws. Recent works have sought to adapt this approach to the stochastic setting, though these adaptations are severely hampered by the curse of dimensionality. On the other hand, Bayesian-inspired deep learning methods have achieved widespread success in high-dimensional probabilistic modeling via computationally efficient approximate inference techniques, suggesting the use of these techniques for efficient stochastic equation discovery. Here, we introduce HyperSINDy, a framework for modeling stochastic dynamics via a deep generative model of sparse governing equations whose parametric form is discovered from data. HyperSINDy employs a variational encoder to approximate the distribution of observed states and derivatives. A hypernetwork \citep{ha_hypernetworks_2016} transforms samples from this distribution into the coefficients of a differential equation whose sparse form is learned simultaneously using a trainable binary mask \citep{louizos_learning_2018}. Once trained, HyperSINDy generates stochastic dynamics via a differential equation whose coefficients are driven by a Gaussian white noise. In experiments, HyperSINDy accurately recovers ground truth stochastic governing equations, with learned stochasticity scaling to match that of the data. Finally, HyperSINDy provides uncertainty quantification that scales to high-dimensional systems. Taken together, HyperSINDy offers a promising framework for model discovery and uncertainty quantification in real-world systems, integrating sparse equation discovery methods with advances in statistical machine learning and deep generative modeling.

研究の動機と目的

• 高次元データから解釈可能でスパースな確率的微分方程式を同定する課題に取り組むこと。従来の手法は次元の呪いに苦しむ。
• スパースな非線形力学の同定（SINDy）を、深層生成モデリングと変分推論と統合することで、確率的システムにおけるスケーラブルな不確実性評価を実現すること。
• パラメータ化されたノイズ駆動確率的常微分方程式フレームワークを通じて、確率的ODEの関数形と係数の両方の同定を可能にすること。
• アンモタライズド推論とハイパーネットワークを活用することで、既存の確率的SINDy手法における計算上のボトル neck を克服し、効率的でスケーラブルな学習を実現すること。
• 物理的に解釈可能なモデルを生成すると同時に、確率的挙動と分散スケーリングを正確に捉える統合的フレームワークを提供すること。

提案手法

• 観測状態とその時間微分の潜在分布を推論するために変分オートエンコーダー（VAE）が用いられ、効率的な事後分布近似が可能になる。
• ハイパーネットワークが潜在サンプルをスパース常微分方程式（ODE）の係数にマッピングし、ODEの関数形はトレーニング可能なバイナリマスクを介して同時に学習される。
• 係数はガウス白色ノイズによって駆動される確率的関数としてパラメータ化され、システムの固有の不確実性をモデル化する確率的ODE（RDE）を形成する。
• モデルは、観測された軌道の対数尤度に対する変分下界（ELBO）を最小化するように、確率的勾配変分推論を用いてエンドツーエンドで訓練される。
• 微分可能なODEソルバーが、学習済みRDEから軌道を生成し、時間軸に沿ったバックプロパゲーションを可能にすることで、モデル最適化が実現される。
• 潜在空間からのサンプリングにより、多様で妥当な確率的力学を生成できることで、不確実性評価が可能になる。

Figure 1: HyperSINDy Framework . HyperSINDy employs an inference model and generative model to discover an analytical representation of observed stochastic dynamics in the form of a random (nonlinear) ODE $f_{\mathbf{z}}(x)$ . The inference model is an encoder neural network that maps $(\mathbf{x},\

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、計算的妥当性を保ちながら、高次元データからスパースで解釈可能な確率的支配方程式を効果的に同定できるか？
• RQ2 ハイパーネットワークを備えた変分推論ベースのアプローチは、確率的力学的システムの真のドリフトと拡散行動をどれほど正確に捉えることができるか？
• RQ3 既存の解析的SINDy手法が失敗する高次元確率的システム（例：10次元Lorenz-96）において、このフレームワークはスケーラブルに機能するか？
• RQ4 係数パラメータに学習された確率性は、実データで観測された分散にどれほど比例してスケーリングされるか？
• RQ5 学習済み確率的ODEから軌道を生成する際、モデルの不確実性評価は真値と比べてどの程度の精度を示すか？

主な発見

• HyperSINDy は2次元確率的Lotka-Volterra系において、真値のドリフト項と拡散項を高精度で回復し、Kramers-Moyal係数推定値が真のシステム挙動と密接に一致した。
• モデルは10次元確率的Lorenz-96系において、すべての項を正しく同定し、特に確率的駆動項の高分散係数を正しく学習した。
• HyperSINDy が生成したサンプル軌道は、高次元設定下でも真値の確率的力学挙動と密接に一致した。
• 係数パラメータに学習された確率性は、観測されたデータ分散に比例してスケーリングされ、正確な不確実性モデリングを示した。
• 特に高次元で複雑なシステムにおいて、スティochastic SINDyベースラインに比べて、状態依存の拡散挙動をよりよく捉えた。
• このフレームワークにより、2次元を超える空間次元を持つシステムにおいても、スケーラブルな不確実性評価とモデル同定が可能となり、従来手法の制限を克服した。

Figure 2: 3D Stochastic Lorenz and Rossler . HyperSINDy models trained on trajectories of varying noise ( $\sigma$ ). The mean and standard deviation of the discovered governing equation coefficients are shown. Refer to 9 and 10 for the ground truth equations. Red trajectories indicate sample test t