[论文解读] HyperSINDy: Deep Generative Modeling of Nonlinear Stochastic Governing Equations

Mozes Jacobs, Bingni W. Brunton+3 more|arXiv (Cornell University)|Oct 7, 2023

Model Reduction and Neural Networks被引用 5

一句话总结

HyperSINDy 引入了一种基于变分推断的深度生成模型，通过使用变分编码器和超网络，从高维数据中发现稀疏、可解释的随机微分方程，其系数由噪声驱动。该方法实现了高维随机系统中控制方程的精确、可扩展发现，并具备不确定性量化能力，优于以往的方法。

ABSTRACT

The discovery of governing differential equations from data is an open frontier in machine learning. The sparse identification of nonlinear dynamics (SINDy) \citep{brunton_discovering_2016} framework enables data-driven discovery of interpretable models in the form of sparse, deterministic governing laws. Recent works have sought to adapt this approach to the stochastic setting, though these adaptations are severely hampered by the curse of dimensionality. On the other hand, Bayesian-inspired deep learning methods have achieved widespread success in high-dimensional probabilistic modeling via computationally efficient approximate inference techniques, suggesting the use of these techniques for efficient stochastic equation discovery. Here, we introduce HyperSINDy, a framework for modeling stochastic dynamics via a deep generative model of sparse governing equations whose parametric form is discovered from data. HyperSINDy employs a variational encoder to approximate the distribution of observed states and derivatives. A hypernetwork \citep{ha_hypernetworks_2016} transforms samples from this distribution into the coefficients of a differential equation whose sparse form is learned simultaneously using a trainable binary mask \citep{louizos_learning_2018}. Once trained, HyperSINDy generates stochastic dynamics via a differential equation whose coefficients are driven by a Gaussian white noise. In experiments, HyperSINDy accurately recovers ground truth stochastic governing equations, with learned stochasticity scaling to match that of the data. Finally, HyperSINDy provides uncertainty quantification that scales to high-dimensional systems. Taken together, HyperSINDy offers a promising framework for model discovery and uncertainty quantification in real-world systems, integrating sparse equation discovery methods with advances in statistical machine learning and deep generative modeling.

研究动机与目标

• 为解决从高维数据中发现可解释、稀疏随机微分方程的挑战，传统方法在高维情况下受维数灾难影响。
• 将稀疏非线性动力学识别（SINDy）与深度生成建模及变分推断相结合，实现在随机系统中的可扩展不确定性量化。
• 通过参数化、噪声驱动的随机常微分方程框架，实现对随机 ODE 的函数形式和系数的联合发现。
• 通过采用摊销推断和超网络，克服现有随机 SINDy 方法中的计算瓶颈，实现高效、可扩展的学习。
• 提供一个统一框架，在准确捕捉随机行为和方差缩放的同时，生成具有物理解释性的模型。

提出的方法

• 使用变分自编码器（VAE）推断观测状态及其时间导数的潜在分布，实现高效的后验近似。
• 超网络将潜在样本映射为稀疏常微分方程（ODE）的系数，同时通过可学习的二值掩码联合学习 ODE 的函数形式。
• 系数被参数化为由高斯白噪声驱动的随机函数，形成随机常微分方程（RDE），以建模系统固有的不确定性。
• 通过随机梯度变分推断端到端训练模型，最小化观测轨迹对数似然的变分下界（ELBO）。
• 使用可微分的 ODE 求解器从学习到的 RDE 生成轨迹，支持时间反向传播以优化模型。
• 通过从潜在空间采样并生成多样且合理的随机动力学，该框架支持不确定性量化。

Figure 1: HyperSINDy Framework . HyperSINDy employs an inference model and generative model to discover an analytical representation of observed stochastic dynamics in the form of a random (nonlinear) ODE $f_{\mathbf{z}}(x)$ . The inference model is an encoder neural network that maps $(\mathbf{x},\

实验结果

研究问题

• RQ1 深度生成模型能否在保持计算可处理性的前提下，有效从高维数据中发现稀疏、可解释的随机控制方程？
• RQ2 基于变分推断与超网络的方法，在多大程度上能准确捕捉随机动力系统的实际漂移与扩散行为？
• RQ3 该框架在现有解析 SINDy 方法失效的高维随机系统（如 10D Lorenz-96）中是否具备可扩展性？
• RQ4 学习到的系数参数中的随机性在多大程度上与真实数据中观察到的方差相匹配？
• RQ5 在从发现的随机 ODE 生成轨迹时，模型的不确定性量化与真实情况相比如何？

主要发现

• HyperSINDy 在 2D 随机 Lotka-Volterra 系统中准确恢复了真实漂移和扩散项，Kramers-Moyal 系数估计值与真实系统行为高度一致。
• 该模型成功识别出 10 维随机 Lorenz-96 系统中的所有项，包括正确学习到随机强迫项的高方差系数。
• 由 HyperSINDy 生成的样本轨迹即使在高维设置下，也与真实轨迹的随机动力学行为高度吻合。
• 学习到的系数参数中的随机性与观测数据方差成比例，证明了其不确定性建模的准确性。
• HyperSINDy 在捕捉状态依赖性扩散行为方面优于随机 SINDy 基线，尤其在高维和复杂系统中表现更优。
• 该框架实现了超过两个空间维度的系统中可扩展的不确定性量化与模型发现，克服了以往方法的局限性。

Figure 2: 3D Stochastic Lorenz and Rossler . HyperSINDy models trained on trajectories of varying noise ( $\sigma$ ). The mean and standard deviation of the discovered governing equation coefficients are shown. Refer to 9 and 10 for the ground truth equations. Red trajectories indicate sample test t