[论文解读] Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning

Julien Pérolat, Bart De Vylder+32 more|arXiv (Cornell University)|Jun 30, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出 DeepNash，一种无需模型的多智能体强化学习自主代理，通过自对弈和正则化纳什动力学（R-NaD）算法从零开始掌握 Stratego 游戏。其表现达到人类专家水平，在 Gravon 平台排名前三，且在具有 $10^{535}$ 个节点的游戏树、信息严重不完全的复杂对弈中超越了现有 AI 方法。

ABSTRACT

We introduce DeepNash, an autonomous agent capable of learning to play the imperfect information game Stratego from scratch, up to a human expert level. Stratego is one of the few iconic board games that Artificial Intelligence (AI) has not yet mastered. This popular game has an enormous game tree on the order of $10^{535}$ nodes, i.e., $10^{175}$ times larger than that of Go. It has the additional complexity of requiring decision-making under imperfect information, similar to Texas hold'em poker, which has a significantly smaller game tree (on the order of $10^{164}$ nodes). Decisions in Stratego are made over a large number of discrete actions with no obvious link between action and outcome. Episodes are long, with often hundreds of moves before a player wins, and situations in Stratego can not easily be broken down into manageably-sized sub-problems as in poker. For these reasons, Stratego has been a grand challenge for the field of AI for decades, and existing AI methods barely reach an amateur level of play. DeepNash uses a game-theoretic, model-free deep reinforcement learning method, without search, that learns to master Stratego via self-play. The Regularised Nash Dynamics (R-NaD) algorithm, a key component of DeepNash, converges to an approximate Nash equilibrium, instead of 'cycling' around it, by directly modifying the underlying multi-agent learning dynamics. DeepNash beats existing state-of-the-art AI methods in Stratego and achieved a yearly (2022) and all-time top-3 rank on the Gravon games platform, competing with human expert players.

研究动机与目标

• 为解决长期存在的挑战：掌握 Stratego 这款标志性棋类游戏，该游戏拥有 $10^{535}$ 个节点的巨大游戏树和极端的信息不完全性。
• 开发一种 AI 代理，能够在无任何人类示范的情况下从零开始学习最优策略，且在传统规划与搜索方法失效的游戏中依然有效。
• 通过设计一种能收敛至纳什均衡而不发生循环的算法，克服多智能体强化学习中学习动态的不稳定性。
• 实现在长回合、高动作空间且无明显子问题分解方式的游戏中，端到端学习不确定环境下的战略决策能力。

提出的方法

• DeepNash 采用基于正则化纳什动力学（R-NaD）算法的无模型深度强化学习方法，通过修改学习动态使其收敛至近似纳什均衡。
• 代理通过自对弈训练，学习一个深度神经网络策略，将游戏状态映射为动作，不依赖于搜索或环境模型。
• 推理阶段应用价值边界启发式方法，通过利用公开信息估计价值的上界来剪枝不安全动作，提升鲁棒性，但对胜率提升不明显。
• 记忆启发式方法存储并重用过往对手的动作，以提升策略泛化能力，减少在长而复杂的对局中出现的过拟合。
• 该方法采用奖励变换，结合熵正则化以稳定训练过程，并在多智能体环境中促进探索。
• 推理阶段，代理应用测试时改进技术，如动作阈值化和离散化，以提升决策质量，而无需修改核心策略。

实验结果

研究问题

• RQ1 无模型的多智能体强化学习代理是否能在拥有 $10^{535}$ 个节点游戏树且信息极端不完全的 Stratego 游戏中达到专家级表现？
• RQ2 R-NaD 算法是否能稳定多智能体环境中的学习动态，防止围绕纳什均衡的循环，从而实现稳定策略的收敛？
• RQ3 在无任何人类示范的端到端自对弈训练下，该代理是否能在以往 AI 方法仅达到业余水平的游戏中实现超人类表现？
• RQ4 测试时启发式方法（如价值边界和记忆机制）在不改变学习策略的前提下，对实际部署中的表现提升程度如何？
• RQ5 该代理是否能在竞技评估中超越已有的 AI 系统，如 Probe、Master of the Flag 和 Demon of Ignorance？

主要发现

• DeepNash 在 Gravon 在线 Stratego 平台中，2022 年度及历史总榜均位列前三，对手为人类专家玩家。
• 在直接评估中，该代理在 Stratego 中超越了现有最先进 AI 方法，包括 Probe（版本 2.0.37）、Master of the Flag（v5.2.0.40）和 Demon of Ignorance（v0.13.4）。
• 尽管价值边界和记忆启发式在实际对局中有效避免了错误，但在与自对弈版本的 DeepNash 对决中，其对胜率的提升并不显著，表明其作用更偏向于稳定策略而非提升性能。
• 在 Gravon 的对局中，价值边界启发式仅影响了 DeepNash 少于 1.5% 的回合，表明其为罕见但关键的保护机制。
• 人类专家，包括前世界冠军 Vincent de Boer，对代理的实力表示惊讶，并预期其能在正式世界锦标赛中表现出色。
• 该代理证明了无模型、自对弈的强化学习可在极端信息不完全且规模庞大的游戏中取得成功，克服了以往基于搜索或基于模型方法的局限性。