[论文解读] Deep Learning for Mean Field Games and Mean Field Control with Applications to Finance

René Carmona, Mathieu Laurière|arXiv (Cornell University)|Jul 9, 2021

Complex Systems and Time Series Analysis被引用 8

一句话总结

本文提出三种基于深度学习的方法——直接优化、Deep BSDE 和深度伽辽金方法（DGM），以求解高维金融应用中的平均场控制（MFC）与平均场博弈（MFG）问题。实验在最优执行、系统性风险与交易拥挤等模型上验证了其有效性，表明神经网络能够准确逼近具有非局部相互作用的复杂偏微分方程（PDE）与随机微分方程（FBSDE）。

ABSTRACT

Financial markets and more generally macro-economic models involve a large number of individuals interacting through variables such as prices resulting from the aggregate behavior of all the agents. Mean field games have been introduced to study Nash equilibria for such problems in the limit when the number of players is infinite. The theory has been extensively developed in the past decade, using both analytical and probabilistic tools, and a wide range of applications have been discovered, from economics to crowd motion. More recently the interaction with machine learning has attracted a growing interest. This aspect is particularly relevant to solve very large games with complex structures, in high dimension or with common sources of randomness. In this chapter, we review the literature on the interplay between mean field games and deep learning, with a focus on three families of methods. A special emphasis is given to financial applications.

研究动机与目标

• 解决金融工程与宏观经济学中出现的平均场控制与博弈问题所面临的维度灾难问题。
• 基于深度学习开发可扩展的数值方法，求解具有非局部相互作用与共同噪声的高维MFC与MFG系统。
• 在简化但现实的金融模型（包括最优执行与系统性风险）上，展示深度学习技术的实际可行性。
• 通过神经网络近似值函数、控制策略与分布，弥合理论平均场框架与实际计算工具之间的鸿沟。
• 通过三种不同的深度学习范式——直接成本最小化、随机射击法与PDE残差最小化——提供统一的MFG/MFC系统数值求解框架。

提出的方法

• 采用直接深度学习方法，通过将控制策略参数化为神经网络，并利用随机梯度下降进行训练，以最小化成本泛函。
• 采用Deep BSDE方法求解麦科恩-弗拉斯托夫型前向-后向随机微分方程（MKV FBSDEs），其中初始后向变量与Z分量由神经网络近似。
• 应用深度伽辽金方法（DGM）求解MFG中出现的前向柯尔莫哥洛夫方程与哈密顿-雅可比-贝尔曼PDE的耦合系统，通过在时空网格上最小化残差误差。
• 采用惩罚技术强制满足初始与终端条件，并利用蒙特卡洛采样估计非局部项（如均场相互作用 $\bar{\mu}_t$）。
• 在密度网络的最终层使用指数激活函数，以确保所学习的分布函数 $m(t, \cdot)$ 的非负性。
• 将方法扩展以处理时变PDE系统与非马尔可夫结构，包括库存动态中的二次变差项。

实验结果

研究问题

• RQ1 深度学习能否有效求解经典数值方法难以处理的高维金融平均场控制与博弈问题？
• RQ2 在具有非局部相互作用的MFC与MFG系统中，不同深度学习架构（直接策略优化、Deep BSDE与DGM）的性能表现如何比较？
• RQ3 神经网络在最优执行与系统性风险的MFG模型中，对值函数、最优控制与分布动态的近似程度如何？
• RQ4 深度学习方法能否在保持数值稳定性与精度的前提下，处理涉及共同噪声、时滞与违约时间相互作用的复杂金融模型？
• RQ5 这些方法在简化但现实的金融模型（如价格影响模型与交易拥挤模型）上的实证性能特征如何？

主要发现

• DGM方法成功求解了交易拥挤模型的MFG系统，准确捕捉到库存分布 $m(t, \cdot)$ 随时间向零集中。
• 对最优控制 $\alpha^*$ 的神经网络近似与半解析解高度一致，所学习的控制表现出与库存的线性依赖关系，符合预期。
• 在密度网络最终层使用指数激活函数，确保了所学习分布的非负性，这是概率密度估计中的关键约束。
• 通过使用惩罚初始与终端条件，实现了稳定的收敛，蒙特卡洛采样有效估计了非局部均场相互作用 $\bar{\mu}_t$。
• 数值结果验证了理论预期：分布随时间向零集中，最优控制与库存呈线性关系，证实了模型的一致性。
• 该框架在具有库存动态二次变差的价差影响模型上表现出鲁棒性，表明神经网络可在无需大幅调整架构的前提下处理复杂动力学。