[论文解读] FBSDE based Neural Network Algorithms for High-Dimensional Quasilinear Parabolic PDEs

Wenzhong Zhang, Wei Cai|arXiv (Cornell University)|Dec 14, 2020

Advanced Mathematical Modeling in Engineering被引用 4

一句话总结

该论文提出两种基于FBSDE的深度神经网络（DNN）算法，用于求解高维拟线性抛物型PDE，通过最小化离散化FBSDE与DNN近似解之间的路径差异来训练网络。该方法实现了与Euler–Maruyama离散化相当的近半阶收敛速率，支持通过Richardson外推法提升精度，并在100维Black–Scholes–Barenblatt方程中，通过多尺度DNN架构显著提升了对振荡解的性能表现。

ABSTRACT

In this paper, we propose forward and backward stochastic differential equations (FBSDEs) based deep neural network (DNN) learning algorithms for the solution of high dimensional quasilinear parabolic partial differential equations (PDEs), which are related to the FBSDEs by the Pardoux-Peng theory. The algorithms rely on a learning process by minimizing the pathwise difference between two discrete stochastic processes, defined by the time discretization of the FBSDEs and the DNN representation of the PDE solutions, respectively. The proposed algorithms are shown to generate DNN solutions for a 100-dimensional Black--Scholes--Barenblatt equation, accurate in a finite region in the solution space, and has a convergence rate similar to that of the Euler--Maruyama discretization used for the FBSDEs. As a result, a Richardson extrapolation technique over time discretizations can be used to enhance the accuracy of the DNN solutions. For time oscillatory solutions, a multiscale DNN is shown to improve the performance of the FBSDE DNN for high frequencies.

研究动机与目标

• 解决利用机器学习求解高维拟线性抛物型PDE时面临的维度灾难问题。
• 基于前向-后向随机微分方程（FBSDE）构建数学上一致的DNN训练方案。
• 提升高维PDE中DNN解的收敛性与精度，尤其针对具有振荡或复杂解结构的问题。
• 通过Richardson外推法与多尺度DNN架构实现误差降低，适用于时间振荡问题。

提出的方法

• 该方法将PDE解表述为通过Pardoux–Peng理论与前向SDE关联的后向随机过程。
• 通过最小化DNN输出与时间离散化FBSDE过程之间的路径差异来训练深度神经网络以近似解。
• 损失函数结合了PDE的终端条件，以及由FBSDE离散化推导出的随机过程与DNN输出之间的差异。
• 算法采用Euler–Maruyama格式对FBSDE进行时间离散化，并通过在采样路径上使用随机梯度下降训练DNN。
• 对于振荡解，采用多尺度DNN（MscaleDNN），其中输入在子网络中按不同尺度缩放，以捕捉不同的时间频率。
• 在不同时间离散化层级上应用Richardson外推法，以提升DNN解的收敛速率与精度。

实验结果

研究问题

• RQ1 基于FBSDE的DNN算法能否在高维拟线性PDE中实现与底层Euler–Maruyama离散化相当的收敛速率？
• RQ2 如何有效最小化FBSDE离散化与DNN近似之间的路径差异，以确保数值一致性？
• RQ3 在观察到的收敛阶数下，能否成功将Richardson外推法应用于PDE的DNN解以提升精度？
• RQ4 多尺度DNN架构是否能显著提升高维PDE中时间振荡解的逼近效果？

主要发现

• 所提出的基于FBSDE的DNN算法实现了接近Euler–Maruyama格式所用半阶强收敛速率的收敛率。
• 在100维Black–Scholes–Barenblatt方程中，该方法在解空间的有限区域内产生了精确的解。
• 当在多个时间离散化层级上应用Richardson外推法时，误差约减少一半，证实了DNN解的收敛阶数。
• 对于参数α=0.025、β=0.25、γ=32的振荡时间依赖解，多尺度DNN（MscaleDNN）相比全连接DNN将整体误差降低了50%。
• 数值实验表明，MscaleDNN能更准确地预测振荡PDE的样本路径，路径跟踪性能显著提升。