[论文解读] Learning in Mean Field Games: the Fictitious Play

Pierre Cardaliaguet, Saeed Hadikhanloo|arXiv (Cornell University)|Jul 22, 2015

Game Theory and Applications参考文献 25被引用 29

一句话总结

本文提出了一种针对平均场博弈（MFGs）的虚构博弈学习方法，其中参与者通过迭代更新对群体密度的信念并计算最优响应策略。当博弈为势函数型时，该方法收敛至MFG均衡，其收敛性通过黏性解理论与传输方程的叠加原理得以证明。

ABSTRACT

Mean Field Game systems describe equilibrium configurations in differential games with infinitely many infinitesimal interacting agents. We introduce a learning procedure (similar to the Fictitious Play) for these games and show its convergence when the Mean Field Game is potential.

研究动机与目标

• 为解决大规模群体随机微分博弈中，参与者在缺乏系统完整信息的情况下如何学习以达成平均场均衡这一现实挑战。
• 将经典虚构博弈学习机制（常用于有限参与者博弈）推广至平均场博弈的连续、无限群体设定中。
• 在MFG系统为势函数型的条件下，建立该学习过程的收敛性，确保均衡的唯一性。
• 弥合理论上的MFG均衡与实际应用中如交通流或经济建模等场景下的学习动态之间的差距。

提出的方法

• 提出一种学习过程：参与者将对群体密度的信念更新为先前迭代中观察到的密度的时间平均值。
• 在每个阶段，参与者利用当前信念（过去密度的平均值）求解哈密顿-雅可比-贝尔曼方程，以计算最优值函数。
• 实际的群体密度根据由值函数导出的最优控制所驱动的福克-普朗克方程演化。
• 信念通过所有先前阶段观察到的密度的经验平均值进行更新，形成递归学习规则。
• 采用黏性解理论分析值函数与密度序列的收敛性。
• 利用安布罗西奥的叠加原理，将传输方程的解与最优轨迹关联，确保在正则性与势函数假设下解的唯一性。

实验结果

研究问题

• RQ1 在连续时间MFG系统中，是否可以实现类似虚构博弈的学习过程收敛至平均场均衡？
• RQ2 在基于信念更新与最优响应计算的迭代学习过程中，何种条件下可使势函数型MFG实现收敛？
• RQ3 当系统涉及前向-后向PDE与无限群体时，如何严格建立学习动态的收敛性？
• RQ4 MFG的势函数结构在确保学习过程收敛中起到何种作用？
• RQ5 学习动态在多大程度上可通过叠加原理与最优控制及轨迹选择相联系？

主要发现

• 当博弈为势函数型时，虚构博弈学习过程收敛至平均场博弈系统的解。
• 收敛性通过值函数及其梯度的统一有界性，以及极限系统黏性解的存在性得以建立。
• 在变分问题中最小化器唯一成立的假设下，极限密度被唯一表征为初始测度沿最优轨迹的前向像。
• 传输方程的解可通过集中在最优轨迹上的狄拉克测度唯一表示，从而确保极限密度的唯一性。
• 通过紧致性论证与叠加原理，证明了学习序列的收敛性，且极限解满足完整的MFG系统。
• 在标准假设下，包括值函数的拟凸性与密度及其梯度的统一有界性，该结果成立。