[论文解读] Actor-Critic Provably Finds Nash Equilibria of Linear-Quadratic Mean-Field Games

Zuyue Fu, Zhuoran Yang+2 more|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 115被引用 16

一句话总结

本文提出了一种无模型的均值场策略-评论家算法，结合线性函数逼近，用于离散时间线性-二次均值场博弈，证明了在无需系统动力学知识的情况下，能够线性收敛至纳什均衡。该工作首次为该设定下的此类方法提供了非渐近全局收敛保证。

ABSTRACT

We study discrete-time mean-field Markov games with infinite numbers of agents where each agent aims to minimize its ergodic cost. We consider the setting where the agents have identical linear state transitions and quadratic cost functions, while the aggregated effect of the agents is captured by the population mean of their states, namely, the mean-field state. For such a game, based on the Nash certainty equivalence principle, we provide sufficient conditions for the existence and uniqueness of its Nash equilibrium. Moreover, to find the Nash equilibrium, we propose a mean-field actor-critic algorithm with linear function approximation, which does not require knowing the model of dynamics. Specifically, at each iteration of our algorithm, we use the single-agent actor-critic algorithm to approximately obtain the optimal policy of the each agent given the current mean-field state, and then update the mean-field state. In particular, we prove that our algorithm converges to the Nash equilibrium at a linear rate. To the best of our knowledge, this is the first success of applying model-free reinforcement learning with function approximation to discrete-time mean-field Markov games with provable non-asymptotic global convergence guarantees.

研究动机与目标

• 建立离散时间均值场马尔可夫博弈中线性-二次结构下纳什均衡存在性与唯一性的充分条件。
• 开发一种无模型强化学习算法，无需事先了解系统动力学即可找到纳什均衡。
• 证明所提算法以线性速率实现对纳什均衡的非渐近全局收敛。
• 将策略-评论家方法扩展至具有可证明收敛保证的均值场博弈，采用函数逼近。

提出的方法

• 该算法对每个代理应用单智能体策略-评论家更新，以在给定当前均值场状态时计算最优策略。
• 它在策略改进（通过策略-评论家更新）与基于当前策略的均值场状态更新之间迭代交替进行。
• 采用线性函数逼近对价值函数与策略表示进行近似，以实现可扩展的学习。
• 该方法依赖于纳什确定性等价原理，将个体控制与群体动态解耦。
• 收敛性分析利用了线性-二次动力学与二次代价函数的结构，推导出线性收敛速率。
• 该算法在无模型设置下运行，仅需访问环境样本，无需显式了解转移概率或代价函数。

实验结果

研究问题

• RQ1 在线性-二次均值场博弈中，纳什均衡在何种条件下存在且唯一？
• RQ2 在该类博弈中，无模型策略-评论家算法结合函数逼近能否实现对纳什均衡的全局收敛？
• RQ3 在离散时间线性-二次均值场博弈中，均值场策略-评论家算法可实现何种收敛速率？
• RQ4 在不掌握系统模型的情况下，能否在均值场马尔可夫博弈中实现非渐近收敛保证？

主要发现

• 本文建立了线性-二次均值场博弈中纳什均衡存在性与唯一性的充分条件。
• 所提出的均值场策略-评论家算法以线性速率收敛至纳什均衡。
• 该算法以无模型方式运行，无需了解系统动力学。
• 该方法在使用线性函数逼近时实现了非渐近全局收敛。
• 这是首个为离散时间均值场马尔可夫博弈中的无模型强化学习提供可证明非渐近收敛性的研究工作。