[论文解读] Ensemble Kalman Inversion for Sparse Learning of Dynamical Systems from Time-Averaged Data

Tapio Schneider, Andrew M. Stuart+1 more|arXiv (Cornell University)|Jul 13, 2020

Model Reduction and Neural Networks被引用 9

一句话总结

该论文提出了一种基于集成卡尔曼反演（Ensemble Kalman Inversion, EKI）的稀疏学习框架，用于从时间平均统计量（如矩和自相关）而非直接的时间序列或导数中发现动力系统的控制向量场。通过将问题表述为非线性反演问题，并利用 EKI 的二次优化框架施加稀疏性，该方法在高精度和鲁棒性下成功从间接、噪声大且不完整的数据中恢复了真实动力学模型，适用于随机、常微分和偏微分方程。

ABSTRACT

Enforcing sparse structure within learning has led to significant advances in the field of data-driven discovery of dynamical systems. However, such methods require access not only to time-series of the state of the dynamical system, but also to the time derivative. In many applications, the data are available only in the form of time-averages such as moments and autocorrelation functions. We propose a sparse learning methodology to discover the vector fields defining a (possibly stochastic or partial) differential equation, using only time-averaged statistics. Such a formulation of sparse learning naturally leads to a nonlinear inverse problem to which we apply the methodology of ensemble Kalman inversion (EKI). EKI is chosen because it may be formulated in terms of the iterative solution of quadratic optimization problems; sparsity is then easily imposed. We then apply the EKI-based sparse learning methodology to various examples governed by stochastic differential equations (a noisy Lorenz 63 system), ordinary differential equations (Lorenz 96 system and coalescence equations), and a partial differential equation (the Kuramoto-Sivashinsky equation). The results demonstrate that time-averaged statistics can be used for data-driven discovery of differential equations using sparse EKI. The proposed sparse learning methodology extends the scope of data-driven discovery of differential equations to previously challenging applications and data-acquisition scenarios.

研究动机与目标

• 解决当仅能获得时间平均统计量（如矩、自相关）时，学习动力系统控制方程的挑战。
• 克服传统稀疏学习方法的局限性，这些方法通常需要时间导数数据，而这些数据往往存在噪声或不可获取。
• 开发一种在非线性反演问题中施加稀疏性的稳健、无导数参数识别方法。
• 将数据驱动的微分方程发现方法的适用范围扩展到具有间接、非线性和部分观测的情境。
• 展示稀疏 EKI 在从现实世界数据约束中恢复真实动力学模型方面的有效性。

提出的方法

• 该方法将向量场的发现表述为一个非线性反演问题，使用时间平均统计量作为间接观测。
• 通过基于集合的最小化数据不拟合，应用集成卡尔曼反演（EKI）迭代求解该反演问题。
• 通过将 ℓ₁-正则化嵌入 EKI 框架，实现稀疏性，将问题转化为一系列带有线性不等式约束的二次规划任务。
• 该算法采用两阶段流程：首先，稀疏 EKI 识别出活跃的基函数；其次，对缩减后的基函数应用优化后的 EKI 以提高精度。
• 该方法避免了数值微分，直接将模型预测的时间平均统计量与实测数据匹配。
• 该方法具有通用性，适用于随机、常微分和偏微分方程，已在 Lorenz 63、Lorenz 96、凝聚方程和 Kuramoto-Sivashinsky 方程上得到验证。

实验结果

研究问题

• RQ1 当仅能获得时间平均数据而非完整时间序列或导数时，稀疏学习能否有效应用于动力系统发现？
• RQ2 在参数到数据映射为非线性的情况下，如何在 EKI 等非线性反演问题框架中自然地施加稀疏性？
• RQ3 基于 EKI 的稀疏学习是否能在从间接、噪声大或部分观测中恢复真实控制方程方面优于标准 EKI 和传统稀疏方法？
• RQ4 当数据仅限于矩和相关函数时，该方法在多大程度上能恢复底层向量场的正确稀疏结构？
• RQ5 两阶段精炼过程——先进行稀疏识别，再对基函数进行特定优化——是否必要且能有效提高参数恢复的精度？

主要发现

• 稀疏 EKI 方法成功恢复了 Kuramoto-Sivashinsky PDE 的真实控制方程，在第二阶段精炼中正确识别出三个非零系数，误差低于 2.5%。
• 该方法正确地将所有无关基函数置零，实现了精确的稀疏性恢复，而标准 EKI 则产生非稀疏拟合，所有 10 个系数均处于激活状态。
• 第二阶段的稀疏 EKI 在所有三种时间平均统计量（矩、自相关和空间相关）上均与实测数据高度一致。
• 该方法在从间接观测中恢复模型方面表现出鲁棒性和高精度，即使在存在噪声且无需时间导数数据的情况下也表现良好。
• 该方法在多种系统中均有效，包括随机系统（Lorenz 63）、常微分方程系统（Lorenz 96）和偏微分方程系统（Kuramoto-Sivashinsky），显示出广泛的适用性。
• 结果证实，仅凭时间平均统计量即可实现对动力系统的精确、稀疏发现，显著扩展了数据驱动建模的适用范围。