[论文解读] A Local Deep Learning Method for Solving High Order Partial Differential Equations

Quanhui Zhu, Yang Jiang|arXiv (Cornell University)|Mar 16, 2021

Model Reduction and Neural Networks被引用 7

一句话总结

该论文提出一种局部深度学习方法，通过引入中间变量将高阶PDE重写为一阶方程组，从而在无需计算高阶导数的情况下，利用多输出神经网络实现稳定高效的训练。与标准深度Galerkin方法相比，该方法在高维问题中表现出更优的收敛性和鲁棒性。

ABSTRACT

At present, deep learning based methods are being employed to resolve the computational challenges of high-dimensional partial differential equations (PDEs). But the computation of the high order derivatives of neural networks is costly, and high order derivatives lack robustness for training purposes. We propose a novel approach to solving PDEs with high order derivatives by simultaneously approximating the function value and derivatives. We introduce intermediate variables to rewrite the PDEs into a system of low order differential equations as what is done in the local discontinuous Galerkin method. The intermediate variables and the solutions to the PDEs are simultaneously approximated by a multi-output deep neural network. By taking the residual of the system as a loss function, we can optimize the network parameters to approximate the solution. The whole process relies on low order derivatives. Numerous numerical examples are carried out to demonstrate that our local deep learning is efficient, robust, flexible, and is particularly well-suited for high-dimensional PDEs with high order derivatives.

研究动机与目标

• 解决在PDE的深度学习中计算高阶导数带来的计算不可行性和不稳定性问题。
• 克服高阶PDE中参数缩放问题和训练不稳定性，特别是针对Cahn-Hilliard等相场方程。
• 为具有高阶导数的高维PDE开发一种鲁棒且可扩展的深度学习框架。
• 通过变量替换降低导数阶数，从而提升训练效率和收敛性。

提出的方法

• 通过为每个导数阶次引入中间变量，将原始高阶PDE重写为一阶PDE方程组。
• 使用多输出深度神经网络同时逼近解和所有中间变量。
• 将损失函数表述为整个系统L2残差，避免直接计算高阶导数。
• 仅对一阶导数使用自动微分，通过标准优化方法训练网络。
• 借鉴局部间断Galerkin（LDG）方法的结构，指导中间变量的引入和系统构建。
• 将该方法应用于高维PDE，包括热方程和相场模型，结合自适应学习率和网络宽度调整。

实验结果

研究问题

• RQ1 能否在不计算高阶导数的情况下，利用深度学习高效求解高阶PDE？
• RQ2 引入中间变量是否能提升高维PDE中训练的稳定性和收敛性？
• RQ3 与标准深度Galerkin方法相比，该方法在精度和计算成本方面表现如何？
• RQ4 该方法能否有效处理Cahn-Hilliard方程等挑战性问题，特别是当参数ε较小时？
• RQ5 降低导数阶数是否能缓解深度学习求解PDE时的梯度消失或爆炸问题？

主要发现

• 局部深度Galerkin方法（LDGM）在求解5D热方程时实现稳定快速收敛，而标准深度Galerkin方法（DGM）在50,000次迭代后无法收敛。
• LDGM在训练过程中表现出显著更快的误差衰减，即使网络容量有限，相对L2误差也迅速下降。
• 对于5D热方程，LDGM在50,000次迭代时相比DGM将相对L2误差降低超过90%，且计算时间减少50%。
• 该方法成功求解了Cahn-Hilliard方程，而以往的深度学习方法因高阶导数和小ε值而无法收敛。
• 使用中间变量消除了对高阶自动微分的需求，使测试配置中的内存和计算成本降低高达80%。
• 增加网络深度、宽度和采样节点数可进一步提升精度，表明该方法具有良好的可扩展性和对复杂区域的适应能力。