[论文解读] Deep Fictitious Play for Stochastic Differential Games

Ruimeng Hu|arXiv (Cornell University)|Mar 22, 2019

Model Reduction and Neural Networks参考文献 53被引用 9

一句话总结

本文提出深度虚构博弈（deep fictitious play），一种可扩展、并行的深度学习算法，用于计算非对称N人随机微分博弈中的开环纳什均衡。通过使用独立的深度神经网络，迭代地针对其他玩家过去行动的固定策略优化每个玩家的策略，该方法实现了GPU加速的、无需模型的计算，并在适当条件下收敛至纳什均衡。

ABSTRACT

In this paper, we apply the idea of fictitious play to design deep neural networks (DNNs), and develop deep learning theory and algorithms for computing the Nash equilibrium of asymmetric $N$-player non-zero-sum stochastic differential games, for which we refer as \emph{deep fictitious play}, a multi-stage learning process. Specifically at each stage, we propose the strategy of letting individual player optimize her own payoff subject to the other players' previous actions, equivalent to solve $N$ decoupled stochastic control optimization problems, which are approximated by DNNs. Therefore, the fictitious play strategy leads to a structure consisting of $N$ DNNs, which only communicate at the end of each stage. The resulted deep learning algorithm based on fictitious play is scalable, parallel and model-free, {\it i.e.}, using GPU parallelization, it can be applied to any $N$-player stochastic differential game with different symmetries and heterogeneities ({\it e.g.}, existence of major players). We illustrate the performance of the deep learning algorithm by comparing to the closed-form solution of the linear quadratic game. Moreover, we prove the convergence of fictitious play under appropriate assumptions, and verify that the convergent limit forms an open-loop Nash equilibrium. We also discuss the extensions to other strategies designed upon fictitious play and closed-loop Nash equilibrium in the end.

研究动机与目标

• 开发一种可扩展、并行且无需模型的深度学习算法，用于计算N人随机微分博弈中的纳什均衡。
• 将虚构博弈概念扩展至随机微分博弈，利用深度神经网络实现无需事先了解博弈对称性或结构的可扩展计算。
• 在适当的正则性和凸性假设下，证明所提出的深度虚构博弈算法收敛至开环纳什均衡。
• 通过与线性二次博弈中的闭式解进行数值比较，验证该方法的有效性。
• 为未来工作扩展至闭环和反馈纳什均衡奠定基础。

提出的方法

• 在算法的每个阶段，每个玩家的策略均通过深度神经网络独立优化，条件是其他所有玩家的先前行动。
• 该方法涉及并行求解N个解耦的随机控制问题，每个问题由一个独立的深度神经网络近似，玩家之间仅在阶段之间进行通信。
• 该算法利用深度学习直接近似最优控制策略，避免依赖值函数导数或PDE求解器。
• 该方法为无模型且可扩展，支持在任意异质博弈或存在主导玩家的情况下，对所有玩家实现GPU并行化。
• 在哈密顿函数具有足够正则性和凸性的假设下，建立了理论收敛性，最终收敛至纳什均衡。
• 该框架通过多阶段迭代过程实现，每个玩家根据对手过去策略更新自身策略，形成跨迭代的反馈回路。

实验结果

研究问题

• RQ1 能否通过深度神经网络将虚构博弈适配至随机微分博弈，以实现纳什均衡的可扩展并行计算？
• RQ2 在何种条件下，深度虚构博弈算法收敛至开环纳什均衡？
• RQ3 在基准情形（如线性二次博弈）中，深度虚构博弈算法的性能与已知解析解相比如何？
• RQ4 在多阶段学习过程中，为每个玩家使用独立DNN的结构和计算优势是什么？
• RQ5 所提出的方法能否扩展至计算随机微分博弈中的闭环或反馈纳什均衡？

主要发现

• 在哈密顿函数和系数满足适当正则性和凸性假设下，深度虚构博弈算法收敛至开环纳什均衡。
• 通过在各阶段解耦每个玩家策略的优化，该方法实现了高度可扩展性和并行性，支持高效的基于GPU的实现。
• 在线性二次博弈基准测试中，该算法的数值结果与已知的闭式解高度吻合，验证了其准确性。
• 该算法为无模型方法，适用于具有任意异质性的N人随机微分博弈，包括存在主导玩家的情形。
• 该方法通过直接利用深度学习学习控制策略，避免了基于PDE方法的维度灾难，无需计算值函数的导数。
• 该框架为未来扩展至闭环和反馈纳什均衡提供了基础，尽管直接实现反馈策略需要网络耦合，这具有非平凡性。