[论文解读] A Generalized Training Approach for Multiagent Learning

Paul Müller, Shayegan Omidshafiei+13 more|arXiv (Cornell University)|Sep 27, 2019

Reinforcement Learning in Robotics参考文献 45被引用 22

一句话总结

本文提出了一种基于策略空间响应正则化（PSRO）的广义多智能体强化学习训练框架，采用 α-Rank 作为元求解器替代难以计算的纳什均衡。该方法在一般和博弈、多玩家游戏中建立了收敛性保证，并在 3 至 5 名玩家的德州扑克和 MuJoCo 足球环境中展示了更快的收敛速度和具有竞争力的性能，优于基于纳什均衡的 PSRO 和均匀采样方法的实证评估结果。

ABSTRACT

This paper investigates a population-based training regime based on game-theoretic principles called Policy-Spaced Response Oracles (PSRO). PSRO is general in the sense that it (1) encompasses well-known algorithms such as fictitious play and double oracle as special cases, and (2) in principle applies to general-sum, many-player games. Despite this, prior studies of PSRO have been focused on two-player zero-sum games, a regime wherein Nash equilibria are tractably computable. In moving from two-player zero-sum games to more general settings, computation of Nash equilibria quickly becomes infeasible. Here, we extend the theoretical underpinnings of PSRO by considering an alternative solution concept, $α$-Rank, which is unique (thus faces no equilibrium selection issues, unlike Nash) and applies readily to general-sum, many-player settings. We establish convergence guarantees in several games classes, and identify links between Nash equilibria and $α$-Rank. We demonstrate the competitive performance of $α$-Rank-based PSRO against an exact Nash solver-based PSRO in 2-player Kuhn and Leduc Poker. We then go beyond the reach of prior PSRO applications by considering 3- to 5-player poker games, yielding instances where $α$-Rank achieves faster convergence than approximate Nash solvers, thus establishing it as a favorable general games solver. We also carry out an initial empirical validation in MuJoCo soccer, illustrating the feasibility of the proposed approach in another complex domain.

研究动机与目标

• 为克服 PSRO 中纳什均衡的局限性，其在一般和博弈、多玩家环境中难以计算且存在均衡选择问题。
• 通过采用 α-Rank 作为可扩展且唯一的解概念，将 PSRO 的适用范围从双人零和博弈扩展至一般和博弈、多玩家场景。
• 在多种博弈类别中，为使用 α-Rank 作为元求解器的 PSRO 建立理论收敛性保证。
• 在 3 至 5 名玩家德州扑克和 MuJoCo 足球等复杂环境中，实证验证该方法的可行性与性能提升。
• 将基于 α-Rank 的 PSRO 与基于纳什均衡的 PSRO 及均匀采样方法进行比较，展示其在收敛速度和有效性方面的改进。

提出的方法

• 在 PSRO 中采用 α-Rank 作为元求解器，替代纳什均衡，以实现在一般和博弈、多玩家环境中的可扩展训练。
• 定义一种新的最优响应机制，确保在特定博弈类别中收敛至 α-Rank 分布。
• 构建一个两级训练流水线：低层级为每支队伍训练 32 名智能体，高层级通过模拟队伍对战构建元博弈。
• 使用自适应模拟采样方法，基于不确定性感知的条目计数（每项条目 10 至 100 次模拟）估计元博弈收益矩阵。
• 在每次 PSRO 迭代中，根据 α-Rank 或纳什平均得分，从 RL 智能体中选择排名前 10% 的智能体（每名玩家 3 名）更新策略池。
• 整合自我对弈（占训练步骤的 50%）和基于策略池的对手采样，以提升策略多样性与鲁棒性。

实验结果

研究问题

• RQ1 在纳什均衡难以计算的一般和博弈、多玩家游戏中，基于 α-Rank 的 PSRO 是否能够实现收敛？
• RQ2 在双人博弈中，基于 α-Rank 的 PSRO 与基于纳什均衡的 PSRO 相比，收敛速度和性能表现如何？
• RQ3 在 3 至 5 名玩家的德州扑克游戏中，基于 α-Rank 的 PSRO 是否能有效扩展，而传统纳什求解器已不切实际？
• RQ4 在 MuJoCo 足球等复杂多智能体环境中，基于 α-Rank 的 PSRO 是否优于均匀采样或随机对手选择？
• RQ5 α-Rank、纳什均衡与 PSRO 中的投影复制动态之间存在何种理论关联？

主要发现

• 在双人 Kuhn 和 Leduc 德州扑克中，基于 α-Rank 的 PSRO 表现与基于精确纳什求解器的 PSRO 相当，验证了其在双人场景中的有效性。
• 在 3 至 5 名玩家的德州扑克游戏中，基于 α-Rank 的 PSRO 比近似纳什求解器收敛更快，展示了其在更大、更复杂博弈中的可扩展性优势。
• 在 3 对 3 的 MuJoCo 足球环境中，PSRO(α-Rank, RL) 显著优于 PSRO(Uniform, RL)，后训练评估中表现出更高的胜率。
• 在 MuJoCo 足球中，元博弈的 α-Rank 分布显示出清晰的性能层级，表明策略选择与种群演化有效。
• 在 2 对 2 的 MuJoCo 足球环境中，基于 α-Rank 的 PSRO 超越了自我对弈基线，表明结构化的元求解器选择优于均匀采样。
• 实证结果证实，所提出的最优响应机制在随机生成的一般和博弈中可收敛至 α-Rank 分布，支持了理论假设。