[论文解读] CINDy: Conditional gradient-based Identification of Non-linear Dynamics -- Noise-robust recovery

Alejandro Carderera, Sebastian Pokutta+2 more|arXiv (Cornell University)|Jan 7, 2021

Model Reduction and Neural Networks参考文献 37被引用 7

一句话总结

CINDy 提出了一种基于条件梯度的优化框架，用于从噪声数据中稀疏识别非线性动力学系统，利用一阶凸优化实现更优的稀疏性、抗噪性以及结构保持能力。与 SINDy、FISTA 和 IPM 相比，CINDy 在使用更少的基函数情况下能更优地恢复真实控制方程，并在噪声环境下展现出更强的泛化能力。

ABSTRACT

Governing equations are essential to the study of nonlinear dynamics, often enabling the prediction of previously unseen behaviors as well as the inclusion into control strategies. The discovery of governing equations from data thus has the potential to transform data-rich fields where well-established dynamical models remain unknown. This work contributes to the recent trend in data-driven sparse identification of nonlinear dynamics of finding the best sparse fit to observational data in a large library of potential nonlinear models. We propose an efficient first-order Conditional Gradient algorithm for solving the underlying optimization problem. In comparison to the most prominent alternative algorithms, the new algorithm shows significantly improved performance on several essential issues like sparsity-induction, structure-preservation, noise robustness, and sample efficiency. We demonstrate these advantages on several dynamics from the field of synchronization, particle dynamics, and enzyme chemistry.

研究动机与目标

• 解决从高维噪声数据中识别稀疏且具有物理意义的控制方程的挑战，适用于非线性动力系统。
• 克服现有方法（如 SINDy）的局限性，后者在噪声环境下易产生稠密解且泛化能力差。
• 开发一种高效的一阶优化框架，其本身具有促进稀疏性的特性，同时保持如守恒定律等结构约束。
• 通过在学习过程中整合物理对称性与不变量，实现从有限且噪声较大的数据中稳健恢复动力学。
• 在多种动力系统（包括同步、粒子动力学和酶动力学）中，展示出在轨迹预测与基函数选择方面优于其他方法的性能。

提出的方法

• 将稀疏识别问题建模为一个凸优化问题，使用基函数字典（例如，最高二次的单项式）来表示候选非线性项。
• 应用条件梯度（Frank-Wolfe）算法求解稀疏恢复问题，利用其对稀疏解的隐式偏好，无需显式阈值化处理。
• 在优化中引入线性不等式约束，以强制实现物理一致性，如守恒定律与对称性（例如，酶动力学中的总质量守恒）。
• 支持识别问题的微分与积分形式，导数估计通过高阶多项式插值得到。
• 采用条件梯度方法的混合变体（Blended Conditional Gradients）以加速收敛并提升实际性能。
• 通过求解稀疏恢复问题的凸松弛形式实现抗噪性，避免计算成本高或不稳定的非凸公式。

实验结果

研究问题

• RQ1 一阶条件梯度方法是否能在非线性动力学的稀疏识别中，相比基于阈值或非凸方法，实现更好的稀疏性与抗噪性？
• RQ2 在优化框架中，物理约束（如守恒定律与对称性）在多大程度上可被嵌入，以提升泛化能力并降低样本复杂度？
• RQ3 在噪声水平逐渐增加的情况下，CINDy 框架与 SINDy、FISTA 和 IPM 在恢复精度、稀疏性与轨迹预测方面的表现如何比较？
• RQ4 条件梯度方法的隐式稀疏偏好是否能产生比显式阈值化或 ℓ0-正则化更准确且结构一致的模型？
• RQ5 在低数据场景下，该框架是否能保持高性能，同时在复杂系统（如酶动力学）中保持真实底层动力学的完整性？

主要发现

• CINDy 在高噪声条件下实现的解稀疏性显著优于 SINDy、FISTA 和 IPM，基函数选择数量最多可减少 90%，如稀疏度度量 𝒮_E 所示。
• 在噪声水平低于 10⁻³ 时，CINDy 和 CINDy(c) 在所有指标中均优于其他方法，包括恢复误差（ℰ_R/η）、动力学误差（ℰ_D/η）和轨迹误差（ℰ_T/η）。
• 在积分形式下，CINDy 和 CINDy(c) 在最高噪声水平（η = 10⁻²）时平均遗漏的正确基函数少于一个，而 SINDy 和 IPM 则选用了所有可用的基函数。
• 该框架在 Michaelis-Menten 模型中成功实现了守恒定律的强制执行，如 d/dt(x_E + x_ES) = 0 和 d/dt(x_S + x_ES + x_P) = 0，从而产生物理一致的动力学。
• 在酶动力学示例中，CINDy 即使在 η = 10⁻³ 时也实现了对真实动力学的近乎完美恢复，预测轨迹的偏差极小。
• 使用八次多项式插值进行导数估计，使框架在所有噪声水平下均能实现准确的动力学恢复，且无因导数近似导致性能下降。