[论文解读] Forward-Backward Stochastic Differential Equations and Controlled McKean Vlasov Dynamics

René Carmona, François Delarue|arXiv (Cornell University)|Mar 23, 2013

Stochastic processes and financial applications参考文献 7被引用 7

一句话总结

本文建立了针对依赖于状态过程分布的麦凯恩-弗拉斯托夫型前向-后向随机微分方程（FBSDEs）最优控制的随机最大值原理。在哈密顿函数凸性条件下，通过延续法证明了解的存在性与唯一性，并表明由此产生的控制策略在具有平均场相互作用的大规模随机博弈中可形成近似纳什均衡。

ABSTRACT

The purpose of this paper is to provide a detailed probabilistic analysis of the optimal control of nonlinear stochastic dynamical systems of the McKean Vlasov type. Motivated by the recent interest in mean field games, we highlight the connection and the differences between the two sets of problems. We prove a new version of the stochastic maximum principle and give sufficient conditions for existence of an optimal control. We also provide examples for which our sufficient conditions for existence of an optimal solution are satisfied. Finally we show that our solution to the control problem provides approximate equilibria for large stochastic games with mean field interactions.

研究动机与目标

• 开发一种专用于非线性麦凯恩-弗拉斯托夫型随机系统最优控制的随机最大值原理。
• 为该类系统中最优控制的存在性与唯一性建立充分条件。
• 将控制问题的解与具有平均场相互作用的大规模种群随机博弈中的近似均衡联系起来。
• 分析系数依赖于解的边际分布的前向-后向随机微分方程（FBSDEs）的结构。
• 证明正则性与混沌传播性质，以证明反馈策略可作为大规模博弈中近似均衡的有效性。

提出的方法

• 推导一种适用于麦凯恩-弗拉斯托夫动力学的新版本随机最大值原理，将状态过程的分布纳入哈密顿函数中。
• 基于哈密顿函数的凸性，利用延续法证明由此产生的平均场FBSDEs解的存在性与唯一性。
• 定义FBSDE的解耦场并证明其利普希茨连续性，从而支持反馈形式策略的构造。
• 构建一个包含N个相互作用SDE的系统，其中每个参与者均采用由解耦场导出的反馈策略。
• 应用混沌传播论证，表明参与者状态经验测度收敛于麦凯恩-弗拉斯托夫律。
• 建立控制策略在大规模博弈中形成近似纳什均衡，其均衡误差以 $\mathcal{O}(N^{-1/(d+4)})$ 速率衰减。

实验结果

研究问题

• RQ1 如何将随机最大值原理扩展至包含分布依赖系数的麦凯恩-弗拉斯托夫型动力学控制问题？
• RQ2 在标准有界性假设不成立时，此类系统是否存在唯一的最优控制？其条件为何？
• RQ3 最优控制问题的解能否用于构造具有平均场相互作用的大规模随机博弈中的近似均衡？
• RQ4 FBSDE的解耦场需具备何种正则性，方可确保反馈策略的存在性？
• RQ5 经验分布向平均场极限的收敛速率如何？该速率如何影响近似均衡的质量？

主要发现

• 在哈密顿函数凸性与系数利普希茨连续性条件下，建立了适用于麦凯恩-弗拉斯托夫受控系统的新型随机最大值原理。
• 通过延续法证明了平均场FBSDEs解的存在性与唯一性，扩展了以往需依赖有界性假设的研究结果。
• 证明了FBSDE的解耦场具有利普希茨连续性，从而支持反馈型最优控制的构造。
• 最优控制策略在大规模随机博弈中形成近似纳什均衡，其均衡误差以 $\mathcal{O}(N^{-1/(d+4)})$ 速率衰减。
• 混沌传播性质确保了N个相互作用参与者的经验分布收敛于麦凯恩-弗拉斯托夫律，从而验证了平均场近似的合理性。
• 该方法适用于线性-二次模型，其中先前的存在性结果因无界性而失效，表明其具有更广泛的应用范围。