[论文解读] Deep Euler method: solving ODEs by approximating the local truncation error of the Euler method

Xing‐Xing Shen, Xiaoliang Cheng+1 more|arXiv (Cornell University)|Mar 21, 2020

Model Reduction and Neural Networks参考文献 26被引用 13

一句话总结

本文提出了一种新型方法——深度欧拉法（DEM），通过使用深度神经网络来近似局部截断误差，从而提升经典欧拉法求解常微分方程的性能。通过学习并校正该误差，DEM 即使在较大的步长下（例如 h ≥ 1）也能实现高精度解，显著优于标准欧拉法和龙格-库塔法，同时保持了稳定性与对未测量区域的泛化能力。

ABSTRACT

In this paper, we propose a deep learning-based method, deep Euler method (DEM) to solve ordinary differential equations. DEM significantly improves the accuracy of the Euler method by approximating the local truncation error with deep neural networks which could obtain a high precision solution with a large step size. The deep neural network in DEM is mesh-free during training and shows good generalization in unmeasured regions. DEM could be easily combined with other schemes of numerical methods, such as Runge-Kutta method to obtain better solutions. Furthermore, the error bound and stability of DEM is discussed.

研究动机与目标

• 解决经典欧拉法在求解常微分方程时精度差且步长约束严格的局限性。
• 开发一种无需复杂神经网络结构、无网格且可泛化的深度学习框架，以增强数值常微分方程求解器。
• 通过显式建模并利用深度神经网络校正局部截断误差，提升欧拉法的全局精度。
• 实现在传统方法失效或发散的大步长（例如 h = 1.0）下实现高精度解。
• 通过误差近似网络的监督训练，确保对噪声数据的鲁棒性以及对未测量区域的泛化能力。

提出的方法

• 该方法训练一个全连接的深度神经网络，以近似前向欧拉法的局部截断误差，使用来自精确解的标注数据进行训练。
• 网络在均匀网格上通过监督预训练进行学习，以捕捉每一步中欧拉近似值与真实解之间的差异。
• 训练完成后，网络为每一步预测校正项，该值被加到标准欧拉更新中，从而获得更精确的解。
• 校正项的表达式为：y_{m+1} = y_m + h f(x_m, y_m) + N(x_m, x_{m+1}, y_m)，其中 N 近似局部截断误差。
• 该方法具有模块化特性，可与其它数值格式（如龙格-库塔法）结合，进一步提升精度。
• 训练过程中为无网格，且在未见区域表现出良好的泛化能力，如外推实验所示。

实验结果

研究问题

• RQ1 深度神经网络能否有效学习并校正欧拉法的局部截断误差，从而提升解的精度？
• RQ2 DEM 在标准欧拉法和龙格-库塔法失效的大步长（如 h = 1.0）下，能否保持高精度？
• RQ3 DEM 在训练域之外的区域（尤其是不同步长下）的泛化能力如何？
• RQ4 与经典欧拉法相比，DEM 的理论误差界和稳定性行为如何？
• RQ5 当在噪声或有限数据上进行训练时，DEM 是否能保持鲁棒性与精度？

主要发现

• DEM 实现了全局截断误差为 O(ηh)，其中 η 为神经网络在近似局部截断误差时的误差，显著优于欧拉法的 O(h)。
• 在 h = 1.0 时，DEM 在逻辑增长和开普勒问题两个示例中均能产生与精确解高度吻合的解，而欧拉法和赫恩法则发散或产生严重失准的结果。
• 即使仅在 [0,15] 区间上进行训练，神经网络对局部截断误差的近似也能良好泛化至未测量区域（如 (15,25]），展现出强大的外推能力。
• 在所有测试步长（h = 0.01, 0.1, 0.5, 1.0）下，DEM 在两个示例中均保持高精度，解几乎与精确解无法区分。
• 实验表明，该方法对测量数据中的噪声具有鲁棒性，且即使使用简单的全连接网络和极少训练数据，也能实现快速收敛。
• 训练目标保持在 O(1) 阶，从而实现深度神经网络的快速且稳定收敛，这是其实用化部署的关键因素。