[论文解读] Neural networks-based algorithms for stochastic control and PDEs in finance

Maximilien Germain, Huyên Pham+1 more|arXiv (Cornell University)|Jan 20, 2021

Neural Networks and Applications参考文献 62被引用 16

一句话总结

本文提出基于深度学习的算法，用于求解金融领域的高维随机控制问题与非线性偏微分方程（PDE），利用神经网络克服维度灾难问题。提出基于倒向随机微分方程（BSDE）的新型方法及通用机器学习方案，在维度高达1000的情况下实现高精度求解，并通过信用估值调整（CVA）定价与投资组合选择问题进行了实证验证。

ABSTRACT

This paper presents machine learning techniques and deep reinforcement learningbased algorithms for the efficient resolution of nonlinear partial differential equations and dynamic optimization problems arising in investment decisions and derivative pricing in financial engineering. We survey recent results in the literature, present new developments, notably in the fully nonlinear case, and compare the different schemes illustrated by numerical tests on various financial applications. We conclude by highlighting some future research directions.

研究动机与目标

• 解决金融工程中求解非线性PDE与随机控制问题时面临的维度灾难问题。
• 在高维环境下开发并比较基于深度学习的半线性与全非线性PDE求解算法。
• 在真实金融应用（如CVA定价与投资组合选择）中提供数值验证。
• 将机器学习技术拓展至均场控制与均场博弈问题，涵盖无模型与有模型的强化学习方法。
• 探索新型网络结构（如对称神经网络与路径签名）以提升求解精度与可扩展性。

提出的方法

• 利用深度神经网络近似高维值函数与控制策略，无需空间离散化。
• 应用倒向随机微分方程（BSDE）表示法，将PDE转化为可通过深度学习求解的回归问题。
• 实现多步与融合型深度BSDE方案，以提升高维问题中的收敛性并降低方差。
• 采用带经验回放与Q-learning的强化学习方法，求解具有未知动力学特性的控制问题。
• 使用对称且排列不变的神经网络，通过在粒子间强制交换对称性，建模均场控制问题。
• 将粗糙路径理论中的路径签名作为输入特征，与LSTM网络结合，提升路径相关PDE的表征学习能力。

实验结果

研究问题

• RQ1 基于深度学习的算法能否有效求解衍生品定价与投资组合优化中出现的高维非线性PDE？
• RQ2 在高维问题中，多步与融合型深度BSDE方案在精度与稳定性方面如何比较？
• RQ3 通过强制交换对称性，对称神经网络在求解均场控制问题方面能多大程度上提升求解效果？
• RQ4 在缺乏已知模型的情况下，结合经验回放的强化学习能否有效求解随机控制问题？
• RQ5 将路径签名作为输入特征，如何提升神经网络在求解路径相关PDE时的性能？

主要发现

• 所提出的基于深度学习的算法在维度高达1000的PDE与控制问题中实现了高精度求解，显著优于经典有限差分方法。
• 与单步方案相比，多步深度BSDE方案将结果的标准差降低了最多50%，提升了高维场景下的稳定性。
• 在d=10的9只资产无杠杆问题中，采用120个时间步的2MDBDP方案实现了2.87%的相对误差，优于单步基线方法。
• 将路径签名作为LSTM网络的输入特征，在路径相关PDE求解中表现优于标准离散化路径。
• 对称神经网络通过强制粒子排列下的不变性，有效求解了均场控制问题，提升了泛化能力。
• 结合经验回放的强化学习成功求解了无模型控制问题，证明了其在未知动力学场景下的适用性。