[论文解读] Fictitious Play for Mean Field Games: Continuous Time Analysis and Applications

Sarah Perrin, Julien Pérolat+4 more|arXiv (Cornell University)|Jul 5, 2020

Game Theory and ApplicationsDecision Sciences被引用 19

一句话总结

本文提出了一种用于有限时域和折扣设置下的平均场博弈（MFGs）的连续时间虚构博弈算法，包含普遍噪声。证明了在可利用性方面以 $O(1/t)$ 的速率收敛，确立了可利用性作为纳什均衡近似的关键度量，并首次为具有普遍噪声的MFG中的学习提供了收敛保证，该算法在基于模型和无模型设置中均得到验证。

ABSTRACT

In this paper, we deepen the analysis of continuous time Fictitious Play learning algorithm to the consideration of various finite state Mean Field Game settings (finite horizon, $γ$-discounted), allowing in particular for the introduction of an additional common noise. We first present a theoretical convergence analysis of the continuous time Fictitious Play process and prove that the induced exploitability decreases at a rate $O(\frac{1}{t})$. Such analysis emphasizes the use of exploitability as a relevant metric for evaluating the convergence towards a Nash equilibrium in the context of Mean Field Games. These theoretical contributions are supported by numerical experiments provided in either model-based or model-free settings. We provide hereby for the first time converging learning dynamics for Mean Field Games in the presence of common noise.

研究动机与目标

• 将虚构博弈扩展至具有有限时域和 $γ$-折扣设置的连续时间平均场博弈，包括普遍噪声。
• 确立可利用性作为评估MFG中收敛至纳什均衡的有意义度量。
• 为MFG中的虚构博弈提供理论收敛保证，收敛速率为 $O(1/t)$，与零和博弈中的结果一致。
• 在基于模型和无模型环境中展示该算法的性能，包括存在普遍噪声的情况。
• 弥合大规模群体随机博弈中可扩展学习算法与理论收敛性之间的差距。

提出的方法

• 本文构建了一个连续时间虚构博弈过程，其中每个代理根据随时间推移的人口状态的经验分布来更新其策略。
• 提出一个连续时间动力系统，用于建模代表性代理策略和人口分布的演化，使用后向和前向柯尔莫哥洛夫方程。
• 分析利用了连续时间学习动态的工具，包括李雅普诺夫函数和基于可利用性的收敛准则。
• 将可利用性定义为：在给定人口分布的情况下，代理通过偏离当前策略所能获得的最大收益。
• 通过一个影响所有代理的联合扩散过程引入普遍噪声，通过共同布朗运动 $W^0_t$ 建模。
• 理论收敛性通过线性二次MFG中的里卡蒂方程和ODE分析证明，作为经验验证的基准。

实验结果

研究问题

• RQ1 连续时间虚构博弈是否能在有限时域和 $γ$-折扣MFG中实现 $O(1/t)$ 的收敛速率？
• RQ2 如何推广可利用性并将其用作MFG中收敛至纳什均衡的可靠度量？
• RQ3 是否可能为具有普遍噪声的MFG中的虚构博弈推导出收敛保证，这类设置在现实应用中普遍存在？
• RQ4 在所提出的框架下，虚构博弈过程是否在基于模型和无模型设置中均收敛至纳什均衡？
• RQ5 可利用性能否作为MFG学习算法的实际且理论基础坚实的停止准则？

主要发现

• 虚构博弈过程在有限时域和 $γ$-折扣MFG中，以可利用性 $O(1/t)$ 的速率收敛至纳什均衡。
• 可利用性被确立为评估MFG中收敛质量的有意义且有效的度量，优于基于人口分布的度量。
• 这是首项证明在具有普遍噪声的MFG中学习算法收敛的工作，此前该设置缺乏理论保证。
• 数值实验在基于模型和无模型设置中均确认了收敛性，验证了理论发现。
• 具有显式里卡蒂解的线性二次MFG基准验证了所学策略和价值函数的准确性。
• 理论分析表明，小的可利用性意味着价值函数在时间上的偏差也小，支持可利用性作为均衡质量的代理指标。