[论文解读] Automatic Differentiation to Simultaneously Identify Nonlinear Dynamics and Extract Noise Probability Distributions from Data

Kadierdan Kaheman, Steven L. Brunton+1 more|arXiv (Cornell University)|Sep 12, 2020

Time Series Analysis and Forecasting被引用 12

一句话总结

本文提出了一种改进的 SINDy 算法，利用自动微分技术，同时实现时间序列数据的去噪、稀疏非线性动力学的识别以及噪声概率分布的参数化——在高达 40% 噪声的情况下保持鲁棒性，并能准确提取伽马分布和瑞利分布等非高斯噪声分布。

ABSTRACT

The sparse identification of nonlinear dynamics (SINDy) is a regression framework for the discovery of parsimonious dynamic models and governing equations from time-series data. As with all system identification methods, noisy measurements compromise the accuracy and robustness of the model discovery procedure. In this work, we develop a variant of the SINDy algorithm that integrates automatic differentiation and recent time-stepping constrained motivated by Rudy et al. for simultaneously (i) denoising the data, (ii) learning and parametrizing the noise probability distribution, and (iii) identifying the underlying parsimonious dynamical system responsible for generating the time-series data. Thus within an integrated optimization framework, noise can be separated from signal, resulting in an architecture that is approximately twice as robust to noise as state-of-the-art methods, handling as much as 40% noise on a given time-series signal and explicitly parametrizing the noise probability distribution. We demonstrate this approach on several numerical examples, from Lotka-Volterra models to the spatio-temporal Lorenz 96 model. Further, we show the method can identify a diversity of probability distributions including Gaussian, uniform, Gamma, and Rayleigh.

研究动机与目标

• 为解决时间序列数据中噪声导致稀疏非线性动力学识别（SINDy）方法的准确性与鲁棒性下降这一关键挑战。
• 开发一种统一的优化框架，实现信号与噪声的分离，同时学习底层的简约动力学模型。
• 显式参数化测量噪声的概率分布，包括非高斯和非零均值分布，如伽马分布和瑞利分布。
• 在低数据量场景和高噪声条件下，提升对噪声的鲁棒性，超越现有最先进方法。
• 通过利用已知动力学的先验知识，识别缺失或受损项，实现与差异建模的集成。

提出的方法

• 将自动微分集成到 SINDy 框架中，通过基于神经网络的信号重构方法计算时间导数近似值的梯度。
• 采用受时间步长约束的优化框架，灵感来自 Rudy 等人 [1]，通过强制满足数值积分一致性（如龙格-库塔法）来提升去噪与动力学恢复效果。
• 同时优化 SINDy 回归中的稀疏系数向量（ξ）、用于信号重构的神经网络参数，以及噪声分布参数（如高斯分布的 μ、σ²，伽马分布的 k、θ 等）。
• 使用 Adam 优化器求解关于信号、动力学和噪声分布参数的非凸联合优化问题。
• 采用促进稀疏性的正则化方法（通过 ℓ₀-近似实现），以确保模型发现的简约性，同时支持从标准 SINDy 启用热启动以提升收敛性。
• 支持模块化扩展，可集成控制输入、有理动力学（通过 SINDy-PI）以及可变时间步长的数值求解器，以增强在大规模库情况下的稳定性。

实验结果

研究问题

• RQ1 自动微分能否在单一优化框架中实现去噪、动力学识别与噪声分布参数化的联合实现？
• RQ2 该改进的 SINDy 方法在高测量噪声水平下表现如何，特别是在噪声为非高斯或非零均值时？
• RQ3 当仅掌握部分模型信息（如在差异建模中）时，该方法能否准确恢复已知动力学？
• RQ4 在模型准确性和鲁棒性方面，该方法相较于现有去噪与系统识别技术的性能提升程度如何？
• RQ5 该方法在包括洛伦兹-96 拓扑系统和洛特卡-沃尔泰拉非线性振子在内的多样化动力系统中表现如何？

主要发现

• 改进的 SINDy 方法在抗噪能力方面相比最先进方法提升约一倍，成功处理高达 40% 的时间序列数据噪声。
• 该方法能准确识别并参数化多种噪声分布，包括高斯分布、均匀分布、伽马分布和瑞利分布，即使噪声具有非零均值亦可实现。
• 在洛特卡-沃尔泰拉系统中，尽管存在 40% 的噪声，该方法仍能正确恢复真实动力学及噪声分布参数，与真实值偏差极小。
• 在洛伦兹-96 拓扑时间序列模型中，该方法展现出有效的信号-噪声分离能力，并准确识别出底层非线性动力学。
• 与差异建模的集成使该方法在已知系统部分结构的前提下，成功恢复了缺失的动力学项，如在加入差异项的改进洛伦兹系统中所示。
• 结合标准 SINDy 的热启动后，该方法在稳定性和收敛性方面表现更优，表明其在实际应用中具备更好的可扩展性。