[论文解读] alpha-Rank: Multi-Agent Evaluation by Evolution

Shayegan Omidshafiei, Christos H. Papadimitriou+8 more|arXiv (Cornell University)|Jul 9, 2019

Artificial Intelligence in Games参考文献 94被引用 13

一句话总结

本文提出了 α-Rank，一种基于马尔可夫-康利链（MCC）的演化动力学原理性、可扩展的方法，用于评估和排序多智能体系统。该方法提供了一种多项式时间、理论基础坚实的纳什均衡计算替代方案，能够在复杂、非对称且大规模的多智能体博弈（如 AlphaGo、AlphaZero、MuJoCo Soccer 和 Leduc 战术扑克）中实现稳健的智能体排序。

ABSTRACT

We introduce $\\alpha$-Rank, a principled evolutionary dynamics methodology for the evaluation and ranking of agents in large-scale multi-agent interactions, grounded in a novel dynamical game-theoretic solution concept called Markov-Conley chains (MCCs). The approach leverages continuous- and discrete-time evolutionary dynamical systems applied to empirical games, and scales tractably in the number of agents, the type of interactions, and the type of empirical games (symmetric and asymmetric). Current models are fundamentally limited in one or more of these dimensions and are not guaranteed to converge to the desired game-theoretic solution concept (typically the Nash equilibrium). $\\alpha$-Rank provides a ranking over the set of agents under evaluation and provides insights into their strengths, weaknesses, and long-term dynamics. This is a consequence of the links we establish to the MCC solution concept when the underlying evolutionary model's ranking-intensity parameter, $\\alpha$, is chosen to be large, which exactly forms the basis of $\\alpha$-Rank. In contrast to the Nash equilibrium, which is a static concept based on fixed points, MCCs are a dynamical solution concept based on the Markov chain formalism, Conley's Fundamental Theorem of Dynamical Systems, and the core ingredients of dynamical systems: fixed points, recurrent sets, periodic orbits, and limit cycles. $\\alpha$-Rank runs in polynomial time with respect to the total number of pure strategy profiles, whereas computing a Nash equilibrium for a general-sum game is known to be intractable. We introduce proofs that not only provide a unifying perspective of existing continuous- and discrete-time evolutionary evaluation models, but also reveal the formal underpinnings of the $\\alpha$-Rank methodology. We empirically validate the method in several domains including AlphaGo, AlphaZero, MuJoCo Soccer, and Poker.

研究动机与目标

• 解决现有多智能体评估方法在大规模博弈中面临的可扩展性、非对称性和非传递动力学等局限性。
• 克服一般和博弈及多玩家博弈中纳什均衡计算固有的计算不可行性和均衡选择问题。
• 开发一个统一的、理论基础坚实的框架，通过动力学解概念连接连续时间微观动力学与离散时间宏观动力学。
• 基于长期演化动力学（包括吸引盆和汇组件）提供一种实用、可扩展且可解释的智能体排序。
• 实现在 Go、扑克和足球环境等多样化领域中，无需人工干预的自动化智能体性能评估。

提出的方法

• α-Rank 采用连续时间演化动力学模型（复制者动力学）和离散时间马尔可夫链模型，模拟智能体长期交互的动力学行为。
• 它利用基于康利动力系统基本定理的马尔可夫-康利链（MCC）解概念，表征不动点、循环集和极限环。
• 该方法仅使用一个超参数 α（排序强度），当 α 值较大时可确保与 MCC 对应，从而实现稳定且有意义的智能体排序。
• 在纯策略组合上诱导的马尔可夫链的平稳分布提供了最终的智能体排序，质量更高的分布质量表示更强的长期主导性。
• 该方法在纯策略组合数量上为多项式时间，使其可扩展至具有大量智能体和非对称收益的大规模博弈。
• 理论证明建立了在 MCC 形式下统一连接现有连续时间与离散时间演化模型的框架。

实验结果

研究问题

• RQ1 在纳什均衡计算不可行的大规模、非对称且复杂的交互环境中，如何评估和排序多智能体系统？
• RQ2 何种动力学解概念可作为静态纳什均衡的原理性替代方案，以捕捉多智能体系统中长期智能体行为？
• RQ3 能否通过理论基础，开发一种单一、可扩展的方法，统一多智能体评估中的微观动力学（连续时间）与宏观动力学（离散时间）？
• RQ4 α-Rank 的排序在多大程度上与真实环境中（如 AlphaZero 和 MuJoCo Soccer）的长期演化主导性和吸引盆相关？
• RQ5 与现有元博弈分析技术相比，α-Rank 在可扩展性、自动化程度以及避免人工干预均衡选择方面表现如何？

主要发现

• α-Rank 在纯策略组合数量上为多项式时间，为计算不可行的纳什均衡计算提供了可扩展的替代方案。
• 在 Leduc 战术扑克领域，α-Rank 正确识别出 (0,0) 策略组合为排名第一的智能体，其结果与先前使用复制者动力学的研究一致，且无需人工干预的均衡选择。
• 该方法成功对 AlphaZero 和 MuJoCo Soccer 中的智能体进行了排序，展示了其在具有收益非对称性和多智能体交互的多样化游戏类型中的鲁棒性。
• α-Rank 提供了对所有智能体的完整排序，包括通过吸引盆和汇组件揭示其优势、劣势及长期主导性的洞察。
• 当 α 足够大时，该方法在理论上建立了演化动力学与马尔可夫-康利链动力学解概念之间的正式对应关系。
• 在多个领域的实证验证表明，α-Rank 既实用又具有理论基础，支持自动化、可解释且可扩展的智能体评估。