[论文解读] A Robust SINDy Approach by Combining Neural Networks and an Integral Form

Ali Forootani, Pawan Goyal+1 more|arXiv (Cornell University)|Sep 13, 2023

Control Systems and Identification被引用 4

一句话总结

该论文提出 iNeural-SINDy，一种通过结合深度神经网络进行去噪和通过自动微分进行导数估计，并引入微分方程的积分形式以增强稳定性，从而从噪声大且数据稀疏的观测中发现非线性控制方程的鲁棒方法。该方法在高噪声和低数据条件下显著优于现有方法，如 DeePyMoD 和 Weak-SINDy。

ABSTRACT

The discovery of governing equations from data has been an active field of research for decades. One widely used methodology for this purpose is sparse regression for nonlinear dynamics, known as SINDy. Despite several attempts, noisy and scarce data still pose a severe challenge to the success of the SINDy approach. In this work, we discuss a robust method to discover nonlinear governing equations from noisy and scarce data. To do this, we make use of neural networks to learn an implicit representation based on measurement data so that not only it produces the output in the vicinity of the measurements but also the time-evolution of output can be described by a dynamical system. Additionally, we learn such a dynamic system in the spirit of the SINDy framework. Leveraging the implicit representation using neural networks, we obtain the derivative information -- required for SINDy -- using an automatic differentiation tool. To enhance the robustness of our methodology, we further incorporate an integral condition on the output of the implicit networks. Furthermore, we extend our methodology to handle data collected from multiple initial conditions. We demonstrate the efficiency of the proposed methodology to discover governing equations under noisy and scarce data regimes by means of several examples and compare its performance with existing methods.

研究动机与目标

• 解决在非线性动力系统中，从噪声大且数据稀疏的时间序列数据中发现精确控制方程的挑战。
• 克服传统 SINDy 方法在信噪比较低时对导数估计误差的敏感性。
• 开发一种数据驱动框架，利用深度神经网络隐式表示干净动力学，实现鲁棒的稀疏回归。
• 将方法扩展至处理来自多个初始条件的数据，以实现更丰富的动力系统识别。
• 通过引入微分方程的积分形式提升鲁棒性，减少对噪声导数的依赖。

提出的方法

• 训练深度神经网络（DNN）以学习观测数据的隐式、去噪表示，从而实现平滑且精确的时间序列重建。
• 在训练后的 DNN 上使用自动微分计算导数估计，避免依赖原始噪声数据的数值微分。
• 在 SINDy 框架下，利用 DNN 估计的导数和大量非线性基函数字典，构建稀疏识别问题。
• 通过引入控制方程的积分形式，稳定稀疏回归过程并降低对噪声的敏感性。
• 通过联合训练 DNN 于不同初始条件下采集的数据，实现多轨迹学习。
• 引入缩放因子 α，以平衡数据保真度损失与积分约束损失，提升优化稳定性。

实验结果

研究问题

• RQ1 基于深度神经网络的隐式表示是否能提升 SINDy 在高噪声和数据稀疏条件下的鲁棒性？
• RQ2 与标准 SINDy 相比，整合微分方程的积分形式在控制方程发现中的准确性和稳定性方面有何提升？
• RQ3 在噪声大且数据稀疏的条件下，所提出的 iNeural-SINDy 方法相较于最先进的方法（如 DeePyMoD 和 Weak-SINDy）在多大程度上表现更优？
• RQ4 缩放因子 α 的选择如何影响该方法在不同噪声水平和数据稀疏度下的性能表现？
• RQ5 该框架能否有效从多个初始条件不同的轨迹中学习控制方程？

主要发现

• 在 Lorenz 系统中，无论在 Scene_A 还是 Scene_B 配置下，iNeural-SINDy 在多个噪声水平和样本大小下均持续优于 DeePyMoD。
• 在高噪声水平（σ = 0.1）下，iNeural-SINDy 显著优于 Weak-SINDy，展现出更优的鲁棒性。
• 结合积分形式与基于神经网络的导数估计可降低对噪声的敏感性，尤其在导数估计不可靠时效果更明显。
• 在数据密度较低的场景下，iNeural-SINDy 仍能保持高精度，表明其在稀疏测量条件下具有强大的泛化能力。
• 缩放因子 α 的影响较为复杂：虽然并非在所有情况下都有益，但 α = 0.1 在深层网络中通常能提升性能，表明其在损失景观优化中具有潜在作用。
• 该方法成功从多个初始条件中识别出控制方程，实现了无需预先掌握系统结构即可发现完整系统动力学。