[论文解读] Inverse modified differential equations for discovery of dynamics

Aiqing Zhu, Pengzhan Jin+2 more|arXiv (Cornell University)|Sep 2, 2020

Model Reduction and Neural Networks参考文献 60被引用 6

一句话总结

本文引入逆修正微分方程（IMDE）以严格分析基于 ODE-net 的数据驱动动力系统发现中行为与误差。通过将学习到的神经网络向量场视为扰动系统的近似，作者证明了学习到的动力学与真实动力学之间的差异被离散积分误差与学习损失之和所界定，且通过截断形式 IMDE 级数可使偏差呈次指数级减小。

ABSTRACT

The combination of numerical integration and deep learning, i.e., ODE-net, has been successfully employed in a variety of applications. In this work, we introduce inverse modified differential equations (IMDE) to contribute to the behaviour and error analysis of discovery of dynamics using ODE-net. It is shown that the difference between the learned ODE and the truncated IMDE is bounded by the sum of learning loss and a discrepancy which can be made sub exponentially small. In addition, we deduce that the total error of ODE-net is bounded by the sum of discrete error and learning loss. Furthermore, with the help of IMDE, theoretical results on learning Hamiltonian system are derived. Several experiments are performed to numerically verify our theoretical results.

研究动机与目标

• 为基于 ODE-net 的数据驱动动力系统发现中的行为与误差提供严格的理论框架。
• 解决现有 ODE-net 及其相关架构（如 LMNet 和 HNN）中缺乏正式收敛性与稳定性分析的问题。
• 确立 ODE-net 中学习到的向量场近似于一个扰动系统（即 IMDE），从而实现精确的误差估计。
• 证明在哈密顿系统中，辛积分器可保持 IMDE 中的结构，而非辛积分器则不能。
• 推导学习动力学与真实动力学之间误差的定量界，将离散误差与学习损失分离开来。

提出的方法

• 通过反转标准修正方程方法，引入逆修正微分方程（IMDE）：不将 ODE 扰动以匹配数值解，而是识别出训练后的 ODE-net 所近似的扰动系统。
• 使用形式级数展开，推导一般单步法与线性多步法的 IMDE，表明龙格-库塔方法的复合形式与基础方法产生相同的 IMDE。
• 在解析性假设下，对形式 IMDE 级数应用截断理论，证明余项可被使为关于步长 $ h $ 的次指数级小。
• 利用 IMDE 框架，将 ODE-net 中的总误差分解为离散误差（$ Ch^p $）与学习损失，并对两者给出显式界。
• 利用 IMDE 分析哈密顿系统，表明辛积分器可保持 IMDE 中的哈密顿结构，而非辛积分器则不能。
• 为线性多步法（LMNet）建立 IMDE 的递推公式，从而实现对其近似性质的理论分析。

实验结果

研究问题

• RQ1 ODE-net 在训练过程中的真实目标是什么？它与底层真实动力学有何关系？
• RQ2 如何严格分解并界定基于 ODE-net 的动力学发现中的误差？
• RQ3 IMDE 框架能否解释为何某些积分器在哈密顿系统中无法保持守恒律？
• RQ4 通过截断形式 IMDE 级数，学习到的向量场与真实向量场之间的偏差在多大程度上可被控制？
• RQ5 在哈密顿系统中使用辛积分器是否能在 IMDE 框架下导致更结构一致的近似？

主要发现

• 学习到的 ODE-net 向量场 $ f_{\text{net}} $ 与截断 IMDE $ f_h^N $ 之间的差异，被学习损失与一个可被使为关于步长 $ h $ 的次指数级小的偏差之和所界定。
• 学习动力学与真实向量场 $ f $ 之间的总误差被界定为 $ c_2 h^p + C \mathcal{L} $，其中 $ h^p $ 为数值积分器的离散误差，$ \mathcal{L} $ 为学习损失。
• 对于非辛积分器，ODE-net 与 LMNet 无法学习守恒律，因为 IMDE 未保持底层结构。
• 当在哈密顿系统中使用辛积分器时，IMDE 保持哈密顿性，且使用此类积分器的 HNN 具有近乎确定的近似目标。
• 形式 IMDE 级数的截断产生形如 $ c_1 e^{-\gamma / h^{1/q}} $ 的误差界，其在 $ h $ 上的衰减速度快于任何多项式。
• 通过 IMDE 建立的误差分析框架，为量化 ODE 基模型中数值积分与深度学习之间的相互作用提供了一体化方法。