[论文解读] Deep Learning Methods for Mean Field Control Problems with Delay

Jean‐Pierre Fouque, Zhaoyu Zhang|arXiv (Cornell University)|May 1, 2019

Stochastic processes and financial applications参考文献 18被引用 5

一句话总结

本文提出两种基于深度学习的数值算法，用于求解带有延迟的均场控制问题，利用神经网络近似最优控制或求解麦凯恩-弗拉斯托夫前向-前向-后向随机微分方程（MV-FABSDE）。该文建立了此类问题的必要且充分的随机最大值原理，并通过延续法证明了MV-FABSDE解的存在性与唯一性，从而在解析方法失效的高维情形下实现数值求解。

ABSTRACT

We consider a general class of mean field control problems described by stochastic delayed differential equations of McKean-Vlasov type. Two numerical algorithms are provided based on deep learning techniques, one is to directly parameterize the optimal control using neural networks, the other is based on numerically solving the McKean-Vlasov forward anticipated backward stochastic differential equation (MV-FABSDE) system. In addition, we establish a necessary and sufficient stochastic maximum principle for this class of mean field control problems with delay based on the differential calculus on function of measures, as well as existence and uniqueness results for the associated MV-FABSDE system.

研究动机与目标

• 为解决状态和控制动态中存在时滞的均场控制问题，此类问题缺乏显式解析解。
• 开发基于深度学习的数值算法，用于在高维情形下近似最优控制或求解相关MV-FABSDE系统。
• 为带有延迟的均场控制问题建立严格的随机最大值原理，通过测度上的微分计算引入分布依赖性。
• 通过延续法，在适当条件下证明MV-FABSDE系统解的存在性与唯一性。
• 在无时滞情形下，对线性二次延迟均场控制模型验证所提算法，与已知显式解进行基准对比。

提出的方法

• 使用长短期记忆（LSTM）网络建模延迟状态过程的非马尔可夫动态，捕捉数据序列中的长期依赖关系。
• 提出一种深度学习算法，通过神经网络直接参数化最优控制，类似于强化学习中的策略梯度方法。
• 开发一种替代算法，通过使用深度神经网络近似伴随过程及其条件期望，求解MV-FABSDE系统。
• 应用延续法，在系数满足利普希茨连续性和有界性条件下，证明MV-FABSDE解的存在性与唯一性。
• 将伴随过程导出为麦凯恩-弗拉斯托夫型的预期后向随机微分方程（BSDE），以考虑未来条件期望和分布依赖性。
• 采用函数测度上的微分计算推导随机最大值原理，从而获得最优性的必要且充分条件。

实验结果

研究问题

• RQ1 深度学习技术能否有效求解状态和控制动态中存在时滞的高维均场控制问题？
• RQ2 如何将随机最大值原理扩展以包含控制问题中分布依赖性的时滞效应？
• RQ3 可采用哪些基于深度学习的数值方法来近似求解由延迟均场控制问题产生的MV-FABSDE系统？
• RQ4 在何种条件下MV-FABSDE系统存在唯一解，以及如何通过延续法证明该结论？
• RQ5 所提出的两种深度学习算法——直接控制参数化与MV-FABSDE求解——在性能与精度方面如何比较？

主要发现

• 所提深度学习算法在线性二次延迟均场控制模型上产生一致的数值结果，验证了其可靠性。
• 通过测度上的微分计算，严谨建立了带有延迟的均场控制问题的随机最大值原理，且为必要且充分条件。
• 在标准利普希茨连续性和有界性条件下，通过延续法证明了MV-FABSDE解的存在性与唯一性。
• LSTM网络有效捕捉了延迟动态中的长期依赖关系，克服了普通RNN的局限性。
• 基于深度学习计算条件期望的数值方法实现简单，且可广泛应用于本问题之外的场景。
• 在无时滞情形下，所提算法恢复了已知的显式解，证实了其准确性和基准验证的有效性。