[论文解读] Imposing Sparsity Within Ensemble Kalman Inversion

Tapio Schneider, Andrew M. Stuart+1 more|arXiv (Cornell University)|Jul 13, 2020

Meteorological Phenomena and Simulations参考文献 3被引用 12

一句话总结

该论文提出了一种基于集成卡尔曼逆向（EKI）的稀疏学习方法，通过时间平均统计量而非时间导数来发现微分方程的向量场。通过将问题表述为可通过迭代二次优化求解的非线性逆问题，该方法能够在噪声较大或不可导的数据下，稳健地实现对常微分方程（ODEs）、随机微分方程（SDEs）和偏微分方程（PDEs）的数据驱动发现，成功应用于Lorenz 63、Lorenz 96、凝聚方程和Kuramoto-Sivashinsky方程。

ABSTRACT

Enforcing sparse structure within learning has led to significant advances in the field of pure data-driven discovery of dynamical systems. However, such methods require access not only to time-series of the state of the dynamical system, but also the time derivative. This poses problems when dealing with data polluted by noise, or when learning stochastic systems with non-differentiable solutions. To overcome such limitations we propose a sparse learning methodology to discover the vector fields defining a (possibly stochastic or partial) differential equation, using time-averaged statistics derived from time-series data. Such a formulation of sparse learning naturally leads to a nonlinear inverse problem to which we apply the methodology of ensemble Kalman inversion (EKI). EKI is chosen because it may be formulated in terms of the iterative solution of quadratic optimization problems; sparsity is then easily imposed. We then apply the EKI-based sparse learning methodology to various examples governed by stochastic differential equations (a noisy Lorenz 63 system), ordinary differential equations (Lorenz 96 system and coalescence equations), and a partial differential equation (the Kuramoto-Sivashinsky equation). The results demonstrate that data-driven discovery of differential equations can be achieved using sparse EKI with time-averaged statistics. The proposed sparse learning methodology extends the scope of pure data-driven discovery of differential equations to previously challenging applications and data-acquisition scenarios. Furthermore, although we apply the method in the context of learning dynamical systems, the EKI-based sparse methodology may be more widely applied within nonlinear inverse problems generally.

研究动机与目标

• 解决现有稀疏学习方法依赖时间导数的局限性，这些时间导数在噪声或随机系统中往往不可用或不可靠。
• 仅使用从时间序列数据中提取的时间平均统计量，实现对由ODEs、SDEs和PDEs控制的动力系统的数据驱动发现。
• 开发一种稳健的逆问题框架，将稀疏性约束整合到集成卡尔曼逆向（EKI）框架中，以处理非线性系统。
• 将纯数据驱动发现的适用性扩展到具有挑战性的数据采集场景，如噪声大或不可导的系统。

提出的方法

• 使用时间平均统计量而非时间导数，将向量场的发现表述为非线性逆问题。
• 应用集成卡尔曼逆向（EKI）通过最小化二次优化目标，迭代求解该逆问题。
• 在EKI框架内，通过Tikhonov正则化或ℓ1-范数惩罚，对识别出的向量场系数施加稀疏性。
• 利用基于集合的海森矩阵和梯度近似，实现在高维参数空间中的可扩展且无导数的优化。
• 从时间序列数据中构建时间平均统计量以表征动力学，从而增强对噪声和不可导解的鲁棒性。
• 将稀疏性约束直接集成到EKI更新方程中，以促进对底层微分方程的简洁模型。

实验结果

研究问题

• RQ1 当由于噪声或不可导性导致时间导数不可用时，稀疏学习能否有效应用于发现微分方程？
• RQ2 EKI-based稀疏学习在从随机和确定性动力系统的时间平均统计量中识别向量场方面表现如何？
• RQ3 该方法在不同类型的微分方程（包括ODEs、SDEs和PDEs）上的泛化能力如何？
• RQ4 能否在EKI框架内有效施加稀疏性，以获得对复杂动力学具有可解释性和准确性的模型？

主要发现

• 该方法仅使用时间平均统计量，成功从噪声Lorenz 63系统中恢复了底层向量场，在数据噪声较大的情况下仍实现了高精度重建。
• 对于Lorenz 96系统和凝聚方程，基于EKI的稀疏学习方法利用时间平均数据，以高保真度恢复了正确的动力学结构。
• 该方法从时间平均统计量中准确识别出Kuramoto-Sivashinsky PDE的控制动力学，证明了其在偏微分方程中的适用性。
• 在EKI中集成稀疏性约束显著提升了模型的可解释性并减少了过拟合，尤其是在高噪声环境下。
• 在时间序列数据受损或不可导的场景下，该方法优于基于导数的稀疏学习方法。
• 该框架具有通用性，可推广至动力系统之外，为解决其他具有稀疏性约束的非线性逆问题提供了可行途径。