[论文解读] Forward-Backward Stochastic Neural Networks: Deep Learning of High-dimensional Partial Differential Equations

Maziar Raissi|arXiv (Cornell University)|Apr 19, 2018

Model Reduction and Neural Networks被引用 45

一句话总结

本文提出 Forward-Backward Stochastic Neural Networks (FBSNNs)，通过用神经网络表示解 u(t,x) 并通过离散化的前向-后向 SDE 进行训练来近似高维 PDE 的解，从而能够在时空的任意位置评估 u(t,x)。

ABSTRACT

Classical numerical methods for solving partial differential equations suffer from the curse dimensionality mainly due to their reliance on meticulously generated spatio-temporal grids. Inspired by modern deep learning based techniques for solving forward and inverse problems associated with partial differential equations, we circumvent the tyranny of numerical discretization by devising an algorithm that is scalable to high-dimensions. In particular, we approximate the unknown solution by a deep neural network which essentially enables us to benefit from the merits of automatic differentiation. To train the aforementioned neural network we leverage the well-known connection between high-dimensional partial differential equations and forward-backward stochastic differential equations. In fact, independent realizations of a standard Brownian motion will act as training data. We test the effectiveness of our approach for a couple of benchmark problems spanning a number of scientific domains including Black-Scholes-Barenblatt and Hamilton-Jacobi-Bellman equations, both in 100-dimensions.

研究动机与目标

• 激励并解决使用神经网络求解高维 PDE 时的维数灾难问题。
• 将未知解 u(t,x) 学习为一个神经网络，并通过自动微分获得其梯度 Du(t,x)。
• 利用前向-后向 SDE 与抛物型 PDE 之间的联系，利用 Euler–Maruyama 离散化来训练网络。
• 实现一个统一的框架，提供完整的解曲面 u(t,x)，而不仅仅是初始时刻的值。
• 展示适用于典型高维问题如 100D 的 Black-Scholes-Barenblatt 和 Hamilton-Jacobi-Bellman 方程等的应用性。

提出的方法

• 用深度神经网络近似未知解 u(t,x)，并通过自动微分计算 Du(t,x)。
• 将前向-后向 SDE 与抛物型 PDE 联系起来，使 Yt = u(t,Xt) 和 Zt = Du(t,Xt) 成立，从而通过 SDE 数据求解 PDE。
• 用 Euler–Maruyama 对 FBSDE 系统进行离散化，并定义一个损失函数，在多组布朗运动实现下强制执行动力学与终端条件。
• 使用 Adam 优化对网络进行训练以最小化损失，从而学习全局解曲面 u(t,x)。
• 对 u(t,x) 使用单一神经网络（因此共享 Du(t,x) 的参数），以避免随时间离散化带来的参数爆炸。

实验结果

研究问题

• RQ1 是否可以训练一个表示 PDE 解 u(t,x) 的神经网络，通过前向-后向 SDE 精确近似高维抛物型 PDE？
• RQ2 该方法是否能在一次训练中给出完整的时空解 u(t,x)，而不仅仅是初始值 u(0,ξ)？
• RQ3 该方法在 100 维基准问题如 Black-Scholes-Barenblatt 和 Hamilton-Jacobi-Bellman 方程上的表现如何？
• RQ4 与仅近似初始时刻值的先前方法相比，精度和计算效率的特征是什么？
• RQ5 自动微分是否能够可靠地提供高维 PDE 所需的梯度 Du(t,x)？

主要发现

• FBSNN 框架在单次训练中就能近似 100D 问题的整个解函数 u(t,x)。
• 该方法相对于先前的网格法和神经方法，在准确性和速度方面具有竞争力，并在 100D 问题上给出明确结果。
• 自动微分使得在不使用有限差分的情况下也能准确计算梯度 Du(t,x)，利用共享的神经网络来表示 u 与 Du。
• 训练使用多组布朗运动实现（例如 M=100）来驱动损失并强制前向-后向动力学。
• 该方法在具有代表性的高维路径上给出可观测的轨迹估计 Yt=u(t,Xt)，不仅仅是初始值。