[论文解读] Towards Robust and Stable Deep Learning Algorithms for Forward Backward Stochastic Differential Equations

Batuhan Güler, Alexis Laignelet+1 more|arXiv (Cornell University)|Oct 25, 2019

Adversarial Robustness in Machine Learning参考文献 23被引用 12

一句话总结

本文提出NAIS-Net，一种基于动力系统视角和多级离散化的稳定深度学习架构，用于求解高维前向-后向随机微分方程（FBSDEs）。该方法将求解时间缩短约90%，从约123分钟降至11分钟，同时保持稳定性与泛化能力，实现了在标准硬件上对数百维问题的高效、鲁棒的偏微分方程（PDE）求解，适用于量化金融应用。

ABSTRACT

Applications in quantitative finance such as optimal trade execution, risk management of options, and optimal asset allocation involve the solution of high dimensional and nonlinear Partial Differential Equations (PDEs). The connection between PDEs and systems of Forward-Backward Stochastic Differential Equations (FBSDEs) enables the use of advanced simulation techniques to be applied even in the high dimensional setting. Unfortunately, when the underlying application contains nonlinear terms, then classical methods both for simulation and numerical methods for PDEs suffer from the curse of dimensionality. Inspired by the success of deep learning, several researchers have recently proposed to address the solution of FBSDEs using deep learning. We discuss the dynamical systems point of view of deep learning and compare several architectures in terms of stability, generalization, and robustness. In order to speed up the computations, we propose to use a multilevel discretization technique. Our preliminary results suggest that the multilevel discretization method improves solutions times by an order of magnitude compared to existing methods without sacrificing stability or robustness.

研究动机与目标

• 解决现有深度学习方法在求解高维、非线性偏微分方程（PDEs）时存在的不稳定性与鲁棒性不足问题，适用于量化金融领域。
• 在不牺牲解的稳定性或泛化能力的前提下，提升FBSDE求解器的计算效率。
• 基于动力系统理论，设计一种稳定神经网络架构，用于求解FBSDEs。
• 通过多级蒙特卡罗离散化技术加速训练过程。
• 在标准硬件上实现对高维PDE（最高达100维）的深度学习求解，求解时间控制在数分钟内。

提出的方法

• 从动力系统视角出发，设计神经网络架构，特别采用非自治结构的NAIS-Net。
• 采用基于投影的方法与经典离散化技术，提升FBSDE求解器的数值稳定性。
• 通过在多个时间步长分辨率（2, 4, 8, 16, 32）上生成样本，实现多级离散化，以加速收敛。
• 应用多级蒙特卡罗方法，降低方差并加快损失函数的优化。
• 使用Adam优化器以固定学习率10⁻³进行网络训练，并在具有已知闭式解的合成FBSDE上评估性能。
• 通过相对误差、扰动下的泛化能力以及损失函数演化，对比全连接网络、ResNet与NAIS-Net等架构。

实验结果

研究问题

• RQ1 在求解高维FBSDEs时，不同深度学习架构（全连接、ResNet、NAIS-Net）在稳定性与泛化能力方面表现如何？
• RQ2 多级离散化是否能在不降低稳定性或精度的前提下显著缩短FBSDE的求解时间？
• RQ3 动力系统视角在多大程度上提升了深度学习模型在FBSDE求解中的鲁棒性？
• RQ4 NAIS-Net在处理初始条件扰动方面与标准架构相比表现如何？
• RQ5 在高维设置下，多级FBSDE求解器相比单级求解器的计算效率提升程度如何？

主要发现

• NAIS-Net在稳定性和泛化能力方面均优于全连接网络与ResNet，在各种初始条件扰动下均表现出更低的相对误差。
• 多级方法将求解时间缩短一个数量级：从单级NAIS-Net的123分钟降至多级的11分钟。
• 如图6所示，多级离散化使损失函数收敛更加稳定，表明优化动力学得到改善。
• 对于100维的Black-Scholes方程，NAIS-Net在所有路径上的平均相对误差低于0.01%，标准偏差低于0.002%。
• ResNet在泛化能力上劣于全连接网络，可能由于残差连接在前向传播中存在稳定性问题。
• 所提方法可在配备标准GPU的机器上，于20分钟内完成对高维PDE（最高达100维）的近似求解。