[论文解读] Asymptotic consistency of the WSINDy algorithm in the limit of continuum data

Daniel A. Messenger, David M. Bortz|arXiv (Cornell University)|Nov 29, 2022

Model Reduction and Neural Networks被引用 6

一句话总结

本文建立了弱形式 SINDy（WSINDy）算法在从噪声高分辨率数据中识别微分方程时的渐近一致性。证明了在广泛条件下（如局部-Lipschitz 非线性性）——尤其在数据去噪时——WSINDy 无条件地恢复真实模型结构，同时识别出导致虚假项出现的临界噪声阈值，为该方法在数据驱动方程发现中的鲁棒性提供了严格基础。

ABSTRACT

In this work we study the asymptotic consistency of the weak-form sparse identification of nonlinear dynamics algorithm (WSINDy) in the identification of differential equations from noisy samples of solutions. We prove that the WSINDy estimator is unconditionally asymptotically consistent for a wide class of models which includes the Navier-Stokes equations and the Kuramoto-Sivashinsky equation. We thus provide a mathematically rigorous explanation for the observed robustness to noise of weak-form equation learning. Conversely, we also show that in general the WSINDy estimator is only conditionally asymptotically consistent, yielding discovery of spurious terms with probability one if the noise level is above some critical threshold and the nonlinearities exhibit sufficiently fast growth. We derive explicit bounds on the critical noise threshold in the case of Gaussian white noise and provide an explicit characterization of these spurious terms in the case of trigonometric and/or polynomial model nonlinearities. However, a silver lining to this negative result is that if the data is suitably denoised (a simple moving average filter is sufficient), then we recover unconditional asymptotic consistency on the class of models with locally-Lipschitz nonlinearities. Altogether, our results reveal several important aspects of weak-form equation learning which may be used to improve future algorithms. We demonstrate our results numerically using the Lorenz system, the cubic oscillator, a viscous Burgers growth model, and a Kuramoto-Sivashinsky-type higher-order PDE.

研究动机与目标

• 在连续数据极限下，严格建立 WSINDy 算法的渐近一致性。
• 识别在存在噪声时，WSINDy 无条件恢复真实模型结构的条件。
• 表征在该阈值以上，虚假项以概率 1 被发现的临界噪声水平。
• 表明通过简单移动平均进行数据去噪，可使具有局部-Lipschitz 非线性性的系统恢复无条件一致性。
• 为高斯白噪声情形下临界噪声水平提供显式边界，并表征多项式/三角函数模型中虚假项的特性。

提出的方法

• 将 WSINDy 问题表述为稀疏回归框架中真实权重向量的支持恢复任务。
• 通过在时空网格上对动力学进行积分，分析弱形式公式，避免点对点导数计算。
• 使用改进的最小二乘估计器（MSTLS），结合稀疏性促进惩罚项，识别模型库中的相关项。
• 利用集中不等式与投影算子稳定性，界定估计权重与真实权重之间的偏差。
• 通过格拉姆矩阵的谱性质与噪声引起的扰动，推导临界噪声阈值。
• 通过基于有限差分的矩条件估计方差，从数据中估计噪声水平。

实验结果

研究问题

• RQ1 随着数据分辨率增加，WSINDy 估计器在何种条件下渐近一致？
• RQ2 在何种噪声水平以上，虚假项将以概率 1 被发现？
• RQ3 对于具有局部-Lipschitz 非线性性的系统，数据去噪如何影响 WSINDy 的渐近一致性？
• RQ4 在高斯白噪声情形下，能否推导出临界噪声阈值的显式边界？
• RQ5 在具有多项式或三角函数非线性性的模型中，虚假项的显式表征是什么？

主要发现

• 当非线性性为局部-Lipschitz 时，WSINDy 对于包括纳维-斯托克斯方程和柯曼-西瓦辛斯基方程在内的广泛模型类别，表现出无条件渐近一致性。
• 对于非线性性快速增长的模型，WSINDy 仅在条件一致：若噪声超过临界阈值，虚假项将以概率 1 出现。
• 推导出临界噪声阈值的显式下界为 $ \frac{\nu^*}{C} $，其中 $ \nu^* $ 为与模型结构相关的几何常数，$ C $ 为稳定性常数。
• 对于高斯白噪声，临界噪声阈值的下界为 $ \frac{\nu^*}{C} $，确保在噪声水平足够低时可实现支持恢复。
• 在多项式或三角函数模型中，虚假项通过真实与估计投影算子之间的不匹配关系被显式表征。
• 对数据应用简单移动平均滤波器，可使所有具有局部-Lipschitz 非线性性的模型恢复无条件渐近一致性。