[论文解读] Convergence of Deep Fictitious Play for Stochastic Differential Games

Jiequn Han, Ruimeng Hu+1 more|arXiv (Cornell University)|Aug 12, 2020

Stochastic processes and financial applications参考文献 64被引用 13

一句话总结

该论文建立了用于求解大规模、非对称随机微分博弈的深度虚构博弈（DFP）算法的理论收敛性。通过将博弈分解为通过深度反向SDE求解的顺序子问题，该方法在温和条件下可证明收敛至马尔可夫纳什均衡，并形成ϵ-纳什均衡，且在技术假设之外具有经验验证支持。

ABSTRACT

Stochastic differential games have been used extensively to model agents' competitions in Finance, for instance, in P2P lending platforms from the Fintech industry, the banking system for systemic risk, and insurance markets. The recently proposed machine learning algorithm, deep fictitious play, provides a novel efficient tool for finding Markovian Nash equilibrium of large $N$-player asymmetric stochastic differential games [J. Han and R. Hu, Mathematical and Scientific Machine Learning Conference, pages 221-245, PMLR, 2020]. By incorporating the idea of fictitious play, the algorithm decouples the game into $N$ sub-optimization problems, and identifies each player's optimal strategy with the deep backward stochastic differential equation (BSDE) method parallelly and repeatedly. In this paper, we prove the convergence of deep fictitious play (DFP) to the true Nash equilibrium. We can also show that the strategy based on DFP forms an $\eps$-Nash equilibrium. We generalize the algorithm by proposing a new approach to decouple the games, and present numerical results of large population games showing the empirical convergence of the algorithm beyond the technical assumptions in the theorems.

研究动机与目标

• 建立深度虚构博弈（DFP）算法在求解大规模N人、非对称随机微分博弈方面的理论基础。
• 证明当子问题被精确求解时，DFP收敛至真实的马尔可夫纳什均衡。
• 表明通过提升网络容量，深度BSDE近似带来的数值误差会消失。
• 证明在足够多轮迭代和精细时间网格下，DFP生成的插值策略可形成ϵ-纳什均衡。
• 通过引入策略更新方法解耦博弈，推广DFP，提升经验收敛性。

提出的方法

• 使用虚构博弈或策略更新方法，将N人随机微分博弈分解为N个解耦的子问题。
• 利用深度BSDE方法求解每个子问题，该方法通过深度神经网络近似求解后向随机微分方程的解。
• 采用欧拉格式对BSDE进行离散化，并使用随机梯度下降（Adam优化器）训练神经网络参数。
• 在全连接网络中使用批量归一化和类似ReLU的激活函数（tanh），网络包含三层宽度为40的隐层。
• 通过固定点过程设定初始状态分布，以确保状态过程在整个定义域内保持代表性。
• 采用相对平方误差（RSE）指标，基于真实样本路径评估控制近似精度。

实验结果

研究问题

• RQ1 当子问题被精确求解时，深度虚构博弈算法是否收敛至真实的马尔可夫纳什均衡？
• RQ2 随着网络容量增加，通过深度BSDE求解每个子问题的数值误差是否能收敛至零？
• RQ3 在足够多轮迭代和精细时间网格下，DFP生成的插值策略是否形成ϵ-纳什均衡？
• RQ4 当技术假设（如系数的Lipschitz连续性）被违反时，DFP的策略更新变体是否仍能实现经验收敛？
• RQ5 在高维随机微分博弈中，深度BSDE方法在近似值函数及其梯度方面表现如何？

主要发现

• 当子问题被精确且迭代求解时，DFP算法收敛至真实的马尔可夫纳什均衡。
• 通过利用深度神经网络的通用逼近能力，深度BSDE近似带来的数值误差会随着网络容量增加而消失。
• 在足够多轮迭代和足够精细的时间网格下，基于DFP的插值策略可形成ϵ-纳什均衡。
• 所提出的策略更新变体即使在技术假设（如系数Lipschitz连续性）被违反的情况下，也能实现经验收敛。
• 在一个具有非Lipschitz和非一致有界系数的数值示例中，深度BSDE方法在控制近似上实现了0.27%的相对平方误差（RSE）。
• 可视化结果表明，最优状态和控制过程与其深度学习近似结果在样本路径上高度一致。