[论文解读] A machine learning framework for data driven acceleration of computations of differential equations

Siddhartha Mishra|arXiv (Cornell University)|Jul 25, 2018

Model Reduction and Neural Networks参考文献 22被引用 19

一句话总结

该论文提出了一种机器学习框架，通过梯度下降法训练广义数值格式中的参数（重新表述为神经网络），以最小化与精细网格解之间的误差，从而加速时变常微分方程（ODE）和偏微分方程（PDE）的数值求解。该方法在保持与底层微分方程一致性的前提下，相较于标准方法实现了高达三个数量级的速度提升。

ABSTRACT

We propose a machine learning framework to accelerate numerical computations of time-dependent ODEs and PDEs. Our method is based on recasting (generalizations of) existing numerical methods as artificial neural networks, with a set of trainable parameters. These parameters are determined in an offline training process by (approximately) minimizing suitable (possibly non-convex) loss functions by (stochastic) gradient descent methods. The proposed algorithm is designed to be always consistent with the underlying differential equation. Numerical experiments involving both linear and non-linear ODE and PDE model problems demonstrate a significant gain in computational efficiency over standard numerical methods.

研究动机与目标

• 在不牺牲与底层微分方程一致性的前提下，加速时变ODE和PDE的数值计算。
• 通过在粗网格上使用机器学习训练格式参数，提升标准数值方法的计算效率。
• 通过提升粗网格精度，实现实时或大规模模拟，应用于不确定性量化、反问题和最优控制。
• 开发一种将机器学习与既有的数值格式相结合的框架，同时保持其稳定性和一致性。
• 探索在受限参数空间下深度学习在求解微分方程方面超越标准方法的潜力。

提出的方法

• 将标准数值格式（如BDF、有限差分、有限体积）重新表述为具有可训练参数的神经网络。
• 使用随机梯度下降训练这些参数，以最小化粗网格解与投影的精细网格解之间误差的损失函数。
• 通过将参数空间约束为已知数值方法的广义形式，确保与微分方程的一致性。
• 使用L¹或L²范数的损失函数量化训练过程中的解误差。
• 以对应于标准数值格式的参数初始化训练，以保持稳定性和收敛性。
• 使用深度学习软件（如TensorFlow）实现该框架，同时限制可训练参数，以保持物理一致性。

实验结果

研究问题

• RQ1 能否使用机器学习训练广义数值格式中的参数，显著提升粗网格上的精度？
• RQ2 通过梯度下降训练数值格式参数是否能保持与底层微分方程的一致性和稳定性？
• RQ3 与标准数值方法相比，该框架在多大程度上降低了计算成本？
• RQ4 该方法在不同线性与非线性ODE和PDE中的性能增益有何差异？
• RQ5 该方法能否扩展至不确定性量化和反问题中的复杂高维问题？

主要发现

• 对于线性问题，该方法相较于标准数值方法，计算效率最高可提升三个数量级。
• 对于非线性问题，该方法在计算速度上至少提升了一个数量级。
• 在广义BDF2格式中，当训练参数被优化时，误差相比标准格式降低了677.95倍。
• 该框架在粗网格上始终能产生精确解，使其在实时或大规模模拟中具有潜在应用价值。
• 该方法通过设计保持了与底层微分方程的一致性，而端到端深度学习方法可能损失物理保真度。
• 训练结果对问题参数（如扩散系数或波速）高度敏感，表明其对特定问题特征具有强依赖性。