[论文解读] Eigen-informed NeuralODEs: Dealing with stability and convergence issues of NeuralODEs

Tobias Thummerer, Lars Mikelsons|arXiv (Cornell University)|Feb 7, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

本文提出了一种基于特征值信息的神经ODE（Eigen-informed NeuralODEs），通过可微分的特征值运算，将常微分方程（ODE）的特性——如基于特征值的稳定性、振荡、频率、阻尼和刚性——直接整合到损失函数中，从而提升神经ODE训练的稳定性和收敛性。通过实现对特征值的基于梯度的优化，该方法可避免局部极小值和不稳定性，显著增强了在复杂及振荡系统（如范德波尔振子）上的训练鲁棒性与性能。

ABSTRACT

Using vanilla NeuralODEs to model large and/or complex systems often fails due two reasons: Stability and convergence. NeuralODEs are capable of describing stable as well as instable dynamic systems. Selecting an appropriate numerical solver is not trivial, because NeuralODE properties change during training. If the NeuralODE becomes more stiff, a suboptimal solver may need to perform very small solver steps, which significantly slows down the training process. If the NeuralODE becomes to instable, the numerical solver might not be able to solve it at all, which causes the training process to terminate. Often, this is tackled by choosing a computational expensive solver that is robust to instable and stiff ODEs, but at the cost of a significantly decreased training performance. Our method on the other hand, allows to enforce ODE properties that fit a specific solver or application-related boundary conditions. Concerning the convergence behavior, NeuralODEs often tend to run into local minima, especially if the system to be learned is highly dynamic and/or oscillating over multiple periods. Because of the vanishing gradient at a local minimum, the NeuralODE is often not capable of leaving it and converge to the right solution. We present a technique to add knowledge of ODE properties based on eigenvalues - like (partly) stability, oscillation capability, frequency, damping and/or stiffness - to the training objective of a NeuralODE. We exemplify our method at a linear as well as a nonlinear system model and show, that the presented training process is far more robust against local minima, instabilities and sparse data samples and improves training convergence and performance.

研究动机与目标

• 解决在复杂或大规模系统中训练原始神经ODE时常见的不稳定性和收敛性问题。
• 克服在振荡或高度动态系统中因梯度消失而导致的局部极小值问题。
• 通过整合系统特征模态的先验知识，实现在稀疏或欠采样数据上的训练。
• 提供一种通用的、可微分的框架，用于在优化过程中强制施加ODE特性，如稳定性、频率、阻尼和刚性。
• 扩展神经ODE在原本因刚性或不稳定性导致训练失败的系统中的适用性。

提出的方法

• 引入一个可微分的特征值与特征向量计算层，使梯度能够通过神经ODE训练过程中的特征值运算流动。
• 构建一个复合损失函数，不仅包含解的保真度，还包含基于期望特征值位置的梯度（例如，稳定性要求实部为负，特定阻尼比或振荡行为）。
• 利用特征值对网络权重的敏感性，将系统动力学的约束直接反向传播至模型参数。
• 将该方法应用于线性和非线性系统，包括范德波尔振子，以验证其在不同动力学条件下的鲁棒性。
• 利用Julia编程语言及开源的DifferentiableEigen.jl包，实现端到端训练所需的可微分特征值分解。
• 将额外的梯度（如刚性（STF）、频率（FRQ）、阻尼（DMP）和振荡（OSC））整合到损失函数中，以引导模型趋向期望的动力学行为。

实验结果

研究问题

• RQ1 基于特征值的约束是否能改善神经ODE在振荡或刚性系统中的训练收敛性？
• RQ2 整合基于特征值的梯度如何影响神经ODE逃离局部极小值的能力？
• RQ3 当已知系统特征模态时，基于特征值信息的神经ODE在处理稀疏或欠采样数据时的适用程度如何？
• RQ4 该方法能否在训练过程中稳定原本固有不稳定的系统（如范德波尔振子）？
• RQ5 与使用隐式求解器的标准神经ODE训练相比，基于特征值信息的训练计算成本如何？

主要发现

• 引入基于特征值的梯度（如稳定性、频率、阻尼和振荡）显著提升了收敛性，并有效防止模型陷入局部极小值，尤其在振荡系统中表现明显。
• 对于范德波尔振子，采用包含STF梯度的损失配置SOL+FRQ+DMP+OSC实现了比无STF配置更快的收敛速度和更优的拟合效果，如图9所示。
• 当通过特征值信息方法引入特征模态的先验知识后，即使数据违反奈奎斯特-香农采样定理，稀疏数据的训练也变得可行。
• 该方法成功训练了范德波尔振子的神经ODE，而原始损失函数无法收敛至正确的振荡行为。
• 通过DifferentiableEigen.jl实现的可微分特征值计算，实现了对特征值运算的完整反向传播，使该方法与标准自动微分框架完全兼容。
• 该方法在各类线性和非线性系统中均表现出鲁棒性，相较于原始神经ODE，训练稳定性与性能均有显著提升。