[论文解读] Mean Field Multi-Agent Reinforcement Learning

Yaodong Yang, Rui Luo+4 more|arXiv (Cornell University)|Feb 15, 2018

Game Theory and Applications参考文献 50被引用 246

一句话总结

本文提出均场近似，将多智能体强化学习扩展到大量智能体，提出 MF-Q 和 MF-AC 算法，在一定假设下收敛到纳什均衡，并在高斯挤压、Ising、以及混合协同-竞争游戏上验证。

ABSTRACT

Existing multi-agent reinforcement learning methods are limited typically to a small number of agents. When the agent number increases largely, the learning becomes intractable due to the curse of the dimensionality and the exponential growth of agent interactions. In this paper, we present \emph{Mean Field Reinforcement Learning} where the interactions within the population of agents are approximated by those between a single agent and the average effect from the overall population or neighboring agents; the interplay between the two entities is mutually reinforced: the learning of the individual agent's optimal policy depends on the dynamics of the population, while the dynamics of the population change according to the collective patterns of the individual policies. We develop practical mean field Q-learning and mean field Actor-Critic algorithms and analyze the convergence of the solution to Nash equilibrium. Experiments on Gaussian squeeze, Ising model, and battle games justify the learning effectiveness of our mean field approaches. In addition, we report the first result to solve the Ising model via model-free reinforcement learning methods.

研究动机与目标

• 在智能体数量较多时，解决 MARL 的可扩展性挑战。
• 引入一个均场框架，用以近似表示单个智能体与群体之间的相互作用。
• 开发并分析实际的均场 Q 学习和均场演员-评论家算法。
• 在给定假设下建立收敛到纳什均衡的保证。
• 通过在 Gaussian squeeze、Ising 模型和混合协作-竞争游戏上的实验，证明有效性。

提出的方法

• 将多智能体 Q 函数分解，使其依赖于一个智能体和来自邻居的平均动作（Eq. 5）。
• 应用均场近似，用一个均场项来替代成对的邻居交互（Eq. 6–8）。
• 通过使用均值动作 \u001bar{a} 和值函数 v^{j}_{MF}（Eq. 9–10），通过类似 TD 的规则更新均场 Q 值。
• 通过迭代的均值动作更新和布尔曼策略（Boltzmann policy）或显式的演员-评论家网络来计算最佳反应（Eq. 11–12）。
• 在假设下证明均场算子收缩性以及 MF-Q 收敛到 Nash-Q（定理 1）。
• 给出 MF-Q（off-policy）和 MF-AC（on-policy）实现，使用神经网络函数逼近和基于梯度的更新（Eq. 14）。

实验结果

研究问题

• RQ1 均场近似是否能在大规模智能体群体的 MARL 中实现可扩展的学习？
• RQ2 在标准 MARL 假设下，MF-Q 与 MF-AC 是否收敛到纳什均衡？
• RQ3 均场方法在代表性任务（如 Gaussian squeeze、Ising 模型和混合协作-竞争游戏）上的表现如何？

主要发现

• MF-Q 与 MF-AC 通过将多体交互转化为两智能体交互（智能体对均场）来扩展到大量智能体。
• 在某些假设下，均场算子是收缩的，确保收敛到 Nash-Q 值。
• 实验表明在 Gaussian squeeze 中的学习有效性，在 Ising 模型上无需显式能量函数即可求解，以及在混合对战游戏中实现高胜率。