[论文解读] Deep learning based numerical approximation algorithms for stochastic partial differential equations

Christian Beck, S. Becker+3 more|arXiv (Cornell University)|Dec 2, 2020

Stochastic processes and financial applications参考文献 93被引用 10

一句话总结

本文提出了一种基于深度学习的数值算法，用于求解高维随机偏微分方程（SPDEs），包括随机热方程和非线性滤波中的Zakai方程。通过使用深度神经网络对每个噪声过程实现的解路径进行近似，该方法在高达50个空间维数的情况下实现了高精度结果，且计算时间极短，证明了其在数学金融和滤波应用中复杂高维SPDEs问题上的有效性。

ABSTRACT

In this article, we introduce and analyze a deep learning based approximation algorithm for SPDEs. Our approach employs neural networks to approximate the solutions of SPDEs along given realizations of the driving noise process. If applied to a set of simulated noise trajectories, it yields empirical distributions of SPDE solutions, from which functionals like the mean and variance can be estimated. We test the performance of the method on stochastic heat equations with additive and multiplicative noise as well as stochastic Black-Scholes equations with multiplicative noise and Zakai equations from nonlinear filtering theory. In all cases, the proposed algorithm yields accurate results with short runtimes in up to 100 space dimensions.

研究动机与目标

• 解决数学金融、物理和滤波中出现的高维随机偏微分方程（SPDEs）数值求解的挑战。
• 通过利用深度学习，克服传统SPDE数值方法在高维情况下的维度灾难问题。
• 开发一种可扩展、高效且精确的算法，能够处理具有加法型和乘法型噪声的SPDEs，包括Zakai方程。
• 在基准SPDEs（如随机热方程和随机Black–Scholes方程）上验证该方法。
• 展示基于深度学习的近似方法在高维场景（高达50维）下的可行性与性能，且运行时间极短。

提出的方法

• 该方法针对每个驱动噪声路径的实现，使用深度神经网络来近似SPDE的解过程。
• 通过Feynman-Kac型表示，将解表述为递归最小化问题，从而实现随机梯度下降优化。
• 对辅助随机过程应用时间离散化，并在每个时间步长使用神经网络迭代近似解。
• 算法采用带有自适应学习率的随机梯度下降，对噪声实现的批次进行神经网络训练。
• 针对每类SPDE（包括随机热方程、Black–Scholes方程和Zakai方程）开发了特定实现，采用定制化的损失函数和网络架构。
• 使用Python代码结合TensorFlow进行测试，包括训练、推理以及参考解的计算，用于验证。

实验结果

研究问题

• RQ1 基于深度学习的方法能否有效近似经典数值方法难以处理的高维SPDEs的解？
• RQ2 所提出的算法在具有加法型和乘法型噪声的SPDEs中，其精度和计算效率表现如何？
• RQ3 深度神经网络在多大程度上能够捕捉不同空间维数（最高达50维）下SPDEs的解路径？
• RQ4 在非线性滤波中的Zakai方程中，该方法与参考解相比的相对误差如何？
• RQ5 该算法能否在极少架构修改的前提下推广至不同类型的SPDEs？

主要发现

• 所提出的基于深度学习的算法在高达50个空间维数的SPDEs中实现了精确的数值近似，展现了在各类问题类型中的鲁棒性。
• 对于具有加法型和乘法型噪声的随机热方程，该方法即使在高维情况下也表现出低相对误差和极短的运行时间。
• 在Zakai方程的情况下，该算法在50维测试案例中平均相对误差低于1%，且推理时间低于10秒。
• 在高维场景下，该方法在可扩展性和计算效率方面优于传统数值格式。
• 采用带有自适应学习率的随机梯度下降（边界设为5000和10000步）显著提升了训练的稳定性和收敛速度。
• 通过1000次样本的蒙特卡洛平均计算得到的参考解提供了可靠的基准，神经网络预测结果在所有测试维度下均与期望值高度吻合。