[论文解读] FINDE: Neural Differential Equations for Finding and Preserving Invariant Quantities

Takashi Matsubara, Takaharu Yaguchi|arXiv (Cornell University)|Oct 1, 2022

Model Reduction and Neural Networks被引用 4

一句话总结

FINDE 引入了一种神经微分方程框架，能够从数据中发现并保持动力系统中未知的一阶积分（不变量），采用投影和离散梯度方法。该方法通过在离散时间中精确守恒一阶积分，实现了长期准确预测与科学发现，其在稳定性与泛化能力方面均优于先前的方法。

ABSTRACT

Many real-world dynamical systems are associated with first integrals (a.k.a. invariant quantities), which are quantities that remain unchanged over time. The discovery and understanding of first integrals are fundamental and important topics both in the natural sciences and in industrial applications. First integrals arise from the conservation laws of system energy, momentum, and mass, and from constraints on states; these are typically related to specific geometric structures of the governing equations. Existing neural networks designed to ensure such first integrals have shown excellent accuracy in modeling from data. However, these models incorporate the underlying structures, and in most situations where neural networks learn unknown systems, these structures are also unknown. This limitation needs to be overcome for scientific discovery and modeling of unknown systems. To this end, we propose first integral-preserving neural differential equation (FINDE). By leveraging the projection method and the discrete gradient method, FINDE finds and preserves first integrals from data, even in the absence of prior knowledge about underlying structures. Experimental results demonstrate that FINDE can predict future states of target systems much longer and find various quantities consistent with well-known first integrals in a unified manner.

研究动机与目标

• 解决现有神经网络在建模动力系统时需要预先知晓一阶积分的局限性。
• 开发一种统一框架，能够从数据中发现未知的一阶积分，即使底层几何结构未知亦可。
• 确保在离散时间模拟中精确守恒一阶积分，从而提升预测精度与稳定性。
• 与现有物理信息模型结合，实现已知一阶积分的集成而不产生冗余。
• 通过识别复杂系统中已知与新型不变量，实现科学发现。

提出的方法

• FINDE 采用连续时间版本，利用投影方法将动力学约束在子流形上，以保持一阶积分。
• 离散时间版本利用离散梯度方法，确保一阶积分在数值精度范围内精确守恒。
• 其学习目标被表述为约束优化问题，强制在离散时间中一阶积分的梯度为零。
• 该方法通过端到端训练观测轨迹，利用潜在空间参数化自动识别一阶积分的数量与形式。
• 通过修改向量场以尊重不变结构，将该方法与神经 ODE 集成，无需系统符号知识。
• 该框架与 HNN 等现有架构兼容，并可扩展以包含已知一阶积分为约束条件。

实验结果

研究问题

• RQ1 神经网络能否仅从纯观测数据中发现动力系统中未知的一阶积分？
• RQ2 在缺乏对系统几何结构先验知识的情况下，如何在离散时间模拟中精确保持一阶积分？
• RQ3 所提出的方法能否在长期预测精度方面优于现有物理信息神经网络？
• RQ4 该框架如何处理随不同初值变化的一阶积分（如能量或动量）？
• RQ5 该方法能否与现有保持不变量的模型结合，以提升泛化能力并避免冗余学习？

主要发现

• FINDE 在 2-pend 数据集上（K=3）的长期预测性能显著优于标准 NODE，1 步误差为 0.63 ± 0.02，VPT 为 0.994 ± 0.002。
• 离散时间版本（dFINDE）将一阶积分精确守恒至舍入误差范围内，而标准 NODE 和改进的 NPM 无法维持不变量。
• 在 2-pend 数据集上，dFINDE 在 5 次试验中均达到 100% 成功率，而改进的 NPM 因优化发散或下溢在 50% 的试验中失败。
• 对于 K=6，带 cFINDE 的 NODE 在训练集上出现灾难性失败（1 步误差：9.93 ± 0.00），表明错误的子流形维度会严重降低性能。
• 该方法成功在能量耗散系统中发现除能量外的其他一阶积分，展示了其科学发现能力。
• 即使 NPM 经调整以处理时变一阶积分，dFINDE 在准确性和鲁棒性方面仍优于其，误差更低且成功率更高。