[论文解读] SNODE: Spectral Discretization of Neural ODEs for System Identification

Alessio Quaglino, Marco Gallieri+2 more|arXiv (Cornell University)|Jun 17, 2019

Model Reduction and Neural Networks参考文献 28被引用 23

一句话总结

该论文提出SNODE，一种用于神经ODE的谱元离散化方法，通过勒让德多项式展开表示状态轨迹，实现通过坐标下降法对多项式系数和网络权重进行完全时间并行的训练。该方法在动力系统上的训练速度至少快一个数量级，且测试MSE降低10倍，优于伴随法和显式求解器。

ABSTRACT

This paper proposes the use of spectral element methods \citep{canuto_spectral_1988} for fast and accurate training of Neural Ordinary Differential Equations (ODE-Nets; \citealp{Chen2018NeuralOD}) for system identification. This is achieved by expressing their dynamics as a truncated series of Legendre polynomials. The series coefficients, as well as the network weights, are computed by minimizing the weighted sum of the loss function and the violation of the ODE-Net dynamics. The problem is solved by coordinate descent that alternately minimizes, with respect to the coefficients and the weights, two unconstrained sub-problems using standard backpropagation and gradient methods. The resulting optimization scheme is fully time-parallel and results in a low memory footprint. Experimental comparison to standard methods, such as backpropagation through explicit solvers and the adjoint technique \citep{Chen2018NeuralOD}, on training surrogate models of small and medium-scale dynamical systems shows that it is at least one order of magnitude faster at reaching a comparable value of the loss function. The corresponding testing MSE is one order of magnitude smaller as well, suggesting generalization capabilities increase.

研究动机与目标

• 解决标准反向传播通过ODE求解器和伴随方法在神经ODE训练中带来的高计算成本和内存开销问题。
• 提升在稀疏时间观测下的动力系统系统辨识任务中的优化效率和泛化能力。
• 开发一种时间并行训练框架，避免存储中间状态，并降低对数值误差的敏感性。
• 利用谱方法实现高精度的状态近似，并获得指数收敛速率。
• 通过多项式近似放松ODE约束，实现约束优化，从而提升ODE-Net训练的稳定性和效率。

提出的方法

• 将神经ODE的状态轨迹表示为勒让德多项式的截断级数，其系数为待优化的参数。
• 将训练问题表述为损失函数与ODE动力学违反程度的加权和的最小化问题，以实现约束松弛。
• 使用坐标下降法交替优化多项式系数和网络权重，分别通过标准反向传播和梯度方法实现。
• 在完全时间并行的框架下进行优化，避免在训练过程中迭代求解ODE。
• 应用谱配点法在勒让德-高斯-洛巴托点上计算残差，以实现高阶精度和高效计算。
• 确保近似误差随多项式阶数增加而实现指数收敛，利用谱方法的特性（Canuto et al., 1988）

实验结果

研究问题

• RQ1 与标准伴随法和显式求解器相比，神经ODE的谱离散化是否能提升训练速度和泛化性能？
• RQ2 通过多项式近似放松ODE约束，是否能改善优化景观特性并实现更快收敛？
• RQ3 该方法的时间并行性在系统辨识任务中在多大程度上降低了内存占用和计算成本？
• RQ4 在具有已知动力学的系统（如具有避碰功能的耦合车辆模型）上，该方法表现如何？
• RQ5 当应用于具有不连续或非光滑动力学的系统时，该方法能否保持稳定性和准确性？

主要发现

• 在6状态车辆系统上，SNODE的每次迭代训练速度比显式法和伴随法快至少一个数量级。
• 收敛仅需标准方法所需迭代次数的三分之一，且测试MSE降低10倍。
• 在30状态耦合车辆系统上，每次SNODE迭代的速度比最快的显式方案快50倍，且收敛速度提升相当。
• 随着勒让德多项式阶数的增加，近似误差表现出指数收敛特性，低阶多项式即可实现高精度。
• 由于约束松弛，优化景观得到改善，有效缓解了梯度消失/爆炸和局部极小值问题。
• 该方法泛化性能优于标准方法，表现为尽管训练损失相近，但测试误差显著更低。