[论文解读] DGM: A deep learning algorithm for solving partial differential equations

Justin Sirignano, Konstantinos Spiliopoulos|RePEc: Research Papers in Economics|Aug 24, 2017

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出了深度伽辽金方法（DGM），一种无网格的深度学习算法，通过在随机采样的时空点上使用随机梯度下降训练深度神经网络，使其满足偏微分方程（PDE）、初始条件和边界条件，从而求解高维偏微分方程。该方法在高达200维的PDE问题中实现了精确解，包括自由边界问题、哈密顿-雅可比-贝尔曼方程和布津斯基方程，展示了强大的近似能力与收敛性保证。

ABSTRACT

High-dimensional PDEs have been a longstanding computational challenge. We propose to solve high-dimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to $200$ dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers' equation. The deep learning algorithm approximates the general solution to the Burgers' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a "Deep Galerkin Method (DGM)" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.

研究动机与目标

• 解决长期以来在高维偏微分方程（PDE）求解中的计算挑战，其中传统基于网格的方法（如有限差分法）因维度灾难而变得不可行。
• 开发一种无网格的深度学习算法，通过在空间和时间中随机采样的点上使用随机梯度下降训练深度神经网络，近似PDE的解。
• 为一类拟线性抛物型PDE提供理论基础扎实的方法，并具备收敛性保证，将深度学习在物理、金融和工程等复杂PDE问题中的适用性扩展到新领域。
• 评估该算法在无半解析解的高维PDE问题中的精度，特别是在金融应用中，如高维投资组合的美式期权定价。

提出的方法

• 深度伽辽金方法（DGM）使用深度神经网络近似PDE的解，取代伽辽金方法中传统的基函数线性组合。
• 通过随机梯度下降训练网络，最小化一个损失函数，该函数对在随机采样的时空点上违反PDE算子、初始条件和边界条件的行为施加惩罚。
• 通过在定义域上均匀或随机采样点来避免网格生成，从而在传统结构化网格计算不可行的高维空间中实现可扩展性。
• 该算法应用于拟线性抛物型PDE，通过弱收敛和维塔利定理证明了理论收敛性，显示在 $ L^\rho $ 中强收敛，其中 $ \rho < 2 $。
• 对于具有边界条件的问题，该方法通过将边界条件包含在损失函数中来处理，并在一致有界性和等度连续性假设下建立了边界值收敛至零的结论。
• 该方法被扩展用于求解高维哈密顿-雅可比-贝尔曼PDE和布津斯基方程，网络在单次训练中学习到跨越连续边界条件和物理条件的通用解。

实验结果

研究问题

• RQ1 能否有效训练深度神经网络，使其在不依赖网格的情况下满足高维PDE的微分算子、初始条件和边界条件？
• RQ2 深度神经网络在求解拟线性抛物型PDE时的近似能力如何？其收敛性能否从理论上建立？
• RQ3 深度伽辽金方法能否在无半解析解的高维自由边界PDE问题中实现精确解，例如美式期权定价中出现的问题？
• RQ4 对于需要在一系列边界和物理条件范围内求解通用解的PDE（如输入变化的布津斯基方程），DGM的性能如何？
• RQ5 在经典有限差分法失效的高维空间（例如高达200维）中，该方法能否保持收敛性和精度？

主要发现

• DGM成功求解了一类高达200维的高维自由边界PDE，可为任意近似解计算误差界，从而实现对精度的严格评估。
• 该方法在由随机热方程最优控制问题导出的高维哈密顿-雅可比-贝尔曼PDE中实现了精确解，展示了其在随机控制问题中的适用性。
• 对于布津斯基方程，深度神经网络在单次训练中学习到了跨越连续边界和物理条件的通用解，有效解决了一个高维问题。
• 理论分析证明，神经网络近似在 $ L^\rho $ 中强收敛，其中 $ \rho < 2 $，收敛性通过维塔利定理和弱形式收敛性建立。
• 在一致有界性和等度连续性假设下，证明了神经网络解向真实解的收敛性；若序列等度连续，则可保证一致收敛。
• 该方法通过用随机采样替代基于网格的离散化，避免了维度灾难，使高维域中的可扩展训练成为可能。