[论文解读] GN-SINDy: Greedy Sampling Neural Network in Sparse Identification of Nonlinear Partial Differential Equations

Ali Forootani, Kapadia, Harshit+3 more|arXiv (Cornell University)|May 14, 2024

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出GN-SINDy，一种新颖方法，将贪婪采样与深度神经网络（DNNs）及稀疏识别（SINDy）相结合，以提升在发现非线性偏微分方程（PDEs）时的数据效率与准确性。通过使用离散经验插值法（DEIM）选择信息量丰富的快照，并应用STRidge实现稀疏性促进，GN-SINDy仅使用完整数据集的0.5–0.874%即可实现高精度PDE发现，优于先前方法如DeePyMoD。

ABSTRACT

The sparse identification of nonlinear dynamical systems (SINDy) is a data-driven technique employed for uncovering and representing the fundamental dynamics of intricate systems based on observational data. However, a primary obstacle in the discovery of models for nonlinear partial differential equations (PDEs) lies in addressing the challenges posed by the curse of dimensionality and large datasets. Consequently, the strategic selection of the most informative samples within a given dataset plays a crucial role in reducing computational costs and enhancing the effectiveness of SINDy-based algorithms. To this aim, we employ a greedy sampling approach to the snapshot matrix of a PDE to obtain its valuable samples, which are suitable to train a deep neural network (DNN) in a SINDy framework. SINDy based algorithms often consist of a data collection unit, constructing a dictionary of basis functions, computing the time derivative, and solving a sparse identification problem which ends to regularised least squares minimization. In this paper, we extend the results of a SINDy based deep learning model discovery (DeePyMoD) approach by integrating greedy sampling technique in its data collection unit and new sparsity promoting algorithms in the least squares minimization unit. In this regard we introduce the greedy sampling neural network in sparse identification of nonlinear partial differential equations (GN-SINDy) which blends a greedy sampling method, the DNN, and the SINDy algorithm. In the implementation phase, to show the effectiveness of GN-SINDy, we compare its results with DeePyMoD by using a Python package that is prepared for this purpose on numerous PDE discovery

研究动机与目标

• 为解决使用大规模数据集进行非线性PDE稀疏识别时面临的维度灾难与高计算成本问题。
• 通过用贪婪采样策略替代随机采样，选择最具信息量的快照，提升基于SINDy的PDE发现的数据效率。
• 通过将先进稀疏性促进求解器（如STRidge）集成到SINDy框架中，提升模型发现的准确性。
• 通过用有原则的贪婪采样与优化稀疏回归流程替代其随机采样与默认求解器，扩展DeePyMoD框架。
• 证明减少数据量并改进采样策略可实现更优的PDE恢复，且仅需极少超参数调优。

提出的方法

• 使用离散经验插值法（DEIM）从PDE解矩阵中识别最具信息量的快照样本，形成贪婪采样策略。
• 使用深度神经网络（DNN）从所选贪婪样本中学习潜在动力学，实现对空间与时间导数的精确近似。
• 通过构建候选基函数字典（如u, ux, uxx, u^2ux等）将DNN预测结果整合到SINDy框架中。
• 应用序列阈值岭回归（STRidge）算法以在稀疏识别步骤中强制实现稀疏性并促进正确项的选择。
• 使用贪婪采样阈值（ε_thr = 10⁻⁵）与时间划分（t_div = 2）控制训练过程中的样本选择与时间分辨率。
• 在多个PDE（Burgers’、Allen-Cahn、KdV）上，使用相同的DNN架构与评估指标，将GN-SINDy性能与DeePyMoD进行对比。

实验结果

研究问题

• RQ1 与随机采样相比，PDE快照的贪婪采样是否能显著降低SINDy基PDE发现的数据需求？
• RQ2 在存在噪声与高维数据的情况下，集成STRidge稀疏性促进是否能提升PDE模型发现的准确性与鲁棒性？
• RQ3 基于DEIM的采样与基于DNN的回归相结合，在恢复KdV与Allen-Cahn等复杂非线性PDE方面能提升到何种程度？
• RQ4 GN-SINDy对超参数（如DNN架构与采样策略）的敏感性如何？其在不同PDE类别间是否具备泛化能力？
• RQ5 在非线性PDE识别方面，GN-SINDy是否在数据效率与模型准确性上优于SOTA方法如DeePyMoD？

主要发现

• GN-SINDy仅使用完整数据集的0.874%（约103,000个快照中的900个）即可成功恢复Korteweg-de Vries（KdV）方程，展现出极高的数据效率。
• 当采用[2, 64, 64, 64, 64, 1]的DNN架构时，该方法实现了KdV方程的精确恢复，得到的估计PDE为：u_t - 5.9812 u u_x - 0.9923 u_xxx = 0。
• 在所有测试的PDE中，GN-SINDy均优于DeePyMoD：其使用0.5%的数据恢复Burgers’方程，使用0.1%的数据恢复Allen-Cahn方程，使用0.874%的数据恢复KdV方程。
• GN-SINDy中的系数演化显示，u_xxx项的收敛速度明显快于u u_x项，表明更优的样本选择带来了改进的学习动态。
• 当使用每层8或16个神经元的DNN时，GN-SINDy无法恢复KdV方程，凸显了模型发现对DNN架构的敏感性，以及正确超参数调优的重要性。
• DeePyMoD使用随机采样与默认LASSO/OLS求解器，对KdV方程产生了高度不准确且过拟合的模型，包含如u^2 u_xxx与u^2 u_x等虚假项，而GN-SINDy成功恢复了正确的稀疏结构。