[论文解读] Human-Level Performance in No-Press Diplomacy via Equilibrium Search

Jonathan Gray, Adam Lerer+2 more|arXiv (Cornell University)|Oct 6, 2020

Artificial Intelligence in Games参考文献 39被引用 10

一句话总结

该论文提出了一种无压力（no-press）《外交》游戏AI代理，结合了从人类对局中学习的监督式模仿学习与基于后悔最小化的单步前瞻搜索，实现了人类水平的表现。该代理超越了先前的AI对手，能抵抗专家人类玩家的 exploit，且在公开的《外交》游戏平台上排名进入前2%的人类玩家行列，标志着在混合合作-竞争多智能体环境中的重大突破。

ABSTRACT

Prior AI breakthroughs in complex games have focused on either the purely adversarial or purely cooperative settings. In contrast, Diplomacy is a game of shifting alliances that involves both cooperation and competition. For this reason, Diplomacy has proven to be a formidable research challenge. In this paper we describe an agent for the no-press variant of Diplomacy that combines supervised learning on human data with one-step lookahead search via regret minimization. Regret minimization techniques have been behind previous AI successes in adversarial games, most notably poker, but have not previously been shown to be successful in large-scale games involving cooperation. We show that our agent greatly exceeds the performance of past no-press Diplomacy bots, is unexploitable by expert humans, and ranks in the top 2% of human players when playing anonymous games on a popular Diplomacy website.

研究动机与目标

• 开发一种能够在无压力《外交》游戏中实现人类水平表现的AI代理，该游戏结合了合作与竞争的复杂机制。
• 将后悔最小化技术——此前在德州扑克等双人零和游戏中取得成功——扩展至大规模混合动机多智能体游戏。
• 评估结合监督策略学习与均衡搜索的混合方法，是否能在真实世界多智能体环境中生成稳健且不可被exploit的策略。
• 证明该代理在匿名在线对战中优于先前的无压力《外交》游戏AI，并取得优异表现。

提出的方法

• 该代理使用通过监督学习在15万场人类《外交》对局数据集上训练的蓝图策略，以近似专家行为。
• 在对局过程中，代理通过计算当前游戏状态下的近似纳什均衡，执行单步前瞻搜索，使用后悔匹配（RM）方法。
• 均衡计算假设所有玩家（包括该代理）在游戏剩余阶段都将遵循蓝图策略。
• 为控制计算复杂度，代理从蓝图策略中采样动作，而非搜索所有可能动作。
• 后悔最小化被应用于实时优化代理策略，提升战略决策质量，而无需完全重规划。
• 该方法结合了模仿学习用于策略初始化，以及均衡搜索用于不确定性下的动态决策。

实验结果

研究问题

• RQ1 后悔最小化技术在双人零和游戏（如扑克）中有效，能否成功应用于大规模混合动机游戏（如无压力《外交》）？
• RQ2 模仿学习与均衡搜索的混合方法，能否在合作与竞争关系不断变化的复杂多智能体环境中，生成达到人类水平的策略？
• RQ3 在重复对局中，此类代理在多大程度上能抵抗专家人类玩家的exploit？
• RQ4 该代理在真实世界在线环境中，与先前的无压力《外交》游戏AI相比，表现如何？

主要发现

• 该代理在竞争与合作场景下，均显著优于所有先前的无压力《外交》游戏AI。
• 即使在多次对局后，该代理仍能抵抗专家人类玩家的exploit，表明其具备稳健的战略行为。
• 在一款知名《外交》游戏网站的匿名在线对局中，该代理排名进入前2%的人类玩家，证明其具备人类水平表现。
• 该代理表现优于先前的AI，尤其在维持稳定联盟和避免可被exploit的错误方面表现突出。
• 该代理成功应对了复杂的战略转变，如从防御转为进攻，在高风险场景中失误极少。
• 该代理的战略决策始终稳健，独立游戏评测中表现优异，例如在某局游戏中获得满分10/10，精准执行高水平策略。