[论文解读] Discovering Multi-Agent Auto-Curricula in Two-Player Zero-Sum Games.

Xidong Feng, Oliver Slumbers+6 more|arXiv (Cornell University)|Jun 4, 2021

Sports Analytics and Performance参考文献 41被引用 5

一句话总结

该论文提出LMAC，一种元梯度下降框架，可自动发现双人零和博弈中的对手选择与最优响应更新规则，无需人工设计博弈论机制。在无手工规则的情况下，LMAC在技能博弈、彩票游戏、配对硬币、库恩扑克和莱德克德州扑克等任务中达到或超越当前最先进性能，并能从小型游戏泛化到大型游戏。

ABSTRACT

When solving two-player zero-sum games, multi-agent reinforcement learning (MARL) algorithms often create populations of agents where, at each iteration, a new agent is discovered as the best response to a mixture over the opponent population. Within such a process, the update rules of who to compete (i.e., the opponent mixture) and how to beat them (i.e., finding best responses) are underpinned by manually developed game theoretical principles such as fictitious play and Double Oracle. In this paper we introduce a framework, LMAC, based on meta-gradient descent that automates the discovery of the update rule without explicit human design. Specifically, we parameterise the opponent selection module by neural networks and the best-response module by optimisation subroutines, and update their parameters solely via interaction with the game engine, where both players aim to minimise their exploitability. Surprisingly, even without human design, the discovered MARL algorithms achieve competitive or even better performance with the state-of-the-art population-based game solvers (e.g., PSRO) on Games of Skill, differentiable Lotto, non-transitive Mixture Games, Iterated Matching Pennies, and Kuhn Poker. Additionally, we show that LMAC is able to generalise from small games to large games, for example training on Kuhn Poker and outperforming PSRO on Leduc Poker. Our work inspires a promising future direction to discover general MARL algorithms solely from data.

研究动机与目标

• 自动化发现双人零和博弈中多智能体强化学习的对手选择与最优响应更新规则。
• 消除对人工设计的博弈论原理（如虚构对手法和双Oracle）在基于种群的MARL中的依赖。
• 开发一种数据驱动框架，直接从与游戏环境的交互中学习有效的MARL算法。
• 实现从小型游戏（如库恩扑克）到大型游戏（如莱德克德州扑克）的算法泛化能力。

提出的方法

• 使用神经网络参数化对手选择模块，使用优化子程序参数化最优响应模块。
• 仅通过与游戏引擎的交互，利用元梯度下降联合训练两个模块，使双方智能体最小化可被利用性。
• 通过端到端可微训练，联合优化对手混合策略与最优响应策略。
• 将学习过程建模为双层优化问题：外层负责选择对手，内层负责计算最优响应。
• 基于最优响应策略的性能，对对手选择策略进行基于梯度的更新。
• 通过在小型游戏上预训练并在更大游戏中微调，实现泛化能力，例如从库恩扑克到莱德克德州扑克的迁移。

实验结果

研究问题

• RQ1 是否存在一种数据驱动框架，可在无需人工设计博弈论原理的前提下，自动发现MARL中有效的对手选择与最优响应更新规则？
• RQ2 所发现的LMAC算法在多种双人零和博弈中的性能，与PSRO等先进基于种群的求解器相比如何？
• RQ3 LMAC在多大程度上能从小型游戏（如库恩扑克）泛化到更大、更复杂的博弈（如莱德克德州扑克）？
• RQ4 LMAC中缺乏显式博弈论设计原理，是否导致其在可被利用性最小化方面表现更具竞争力或更优？

主要发现

• LMAC在技能博弈、可微彩票游戏、非传递混合博弈、迭代配对硬币和库恩扑克中，性能与PSRO相当或更优。
• 该框架成功实现从库恩扑克到莱德克德州扑克的泛化，在仅在小型游戏上训练的情况下，仍优于PSRO在大型游戏中的表现。
• LMAC在无需依赖人工设计的博弈论机制（如虚构对手法或双Oracle）的前提下，发现了有效的MARL更新规则。
• 通过LMAC学习到的算法表现出低可被利用性，表明在零和设定下具有强大的策略收敛性。
• 元梯度下降的使用使得仅通过游戏交互即可实现对手选择与最优响应策略的端到端学习。
• 该框架在多种游戏类型中表现出鲁棒性，包括非传递性和可微游戏，表明其具有广泛适用性。