[论文解读] Automated Planning in Repeated Adversarial Games

Enrique Muñoz de Cote, Archie C. Chapman+2 more|arXiv (Cornell University)|Mar 15, 2012

Artificial Intelligence in Games参考文献 10被引用 11

一句话总结

本文提出 TeamUP，一种基于模型的强化学习算法，通过识别并默示地与异构对手合作，使智能体在重复对抗性游戏中自主规划与协作。通过将探索视为对抗性优化问题并使用奖励塑形，TeamUP 一致优于纳什均衡策略，并在柠檬水摊游戏锦标赛中表现最佳，超越了原始获胜策略。

ABSTRACT

Game theory's prescriptive power typically relies on full rationality and/or self-play interactions. In contrast, this work sets aside these fundamental premises and focuses instead on heterogeneous autonomous interactions between two or more agents. Specifically, we introduce a new and concise representation for repeated adversarial (constant-sum) games that highlight the necessary features that enable an automated planing agent to reason about how to score above the game's Nash equilibrium, when facing heterogeneous adversaries. To this end, we present TeamUP, a model-based RL algorithm designed for learning and planning such an abstraction. In essence, it is somewhat similar to R-max with a cleverly engineered reward shaping that treats exploration as an adversarial optimization problem. In practice, it attempts to find an ally with which to tacitly collude (in more than two-player games) and then collaborates on a joint plan of actions that can consistently score a high utility in adversarial repeated games. We use the inaugural Lemonade Stand Game Tournament to demonstrate the effectiveness of our approach, and find that TeamUP is the best performing agent, demoting the Tournament's actual winning strategy into second place. In our experimental analysis, we show hat our strategy successfully and consistently builds collaborations with many different heterogeneous (and sometimes very sophisticated) adversaries.

研究动机与目标

• 解决传统博弈论模型在假设完全理性或自我对弈时的局限性，聚焦于异构智能体的交互。
• 开发一种适用于重复常和博弈的紧凑表示方法，捕捉使智能体得分超过纳什均衡的特征。
• 设计一种规划算法，能够在多智能体对抗环境中识别并形成与多样化对手的隐性协作。
• 通过实证评估，在真实世界竞争环境中证明该方法的有效性。
• 表明自动化规划可在无需相互合作或显式通信的情况下，持续实现高效益。

提出的方法

• 作者提出一种新颖的博弈表示方法，强调在重复对抗性博弈中规划至关重要的特征，聚焦于战略互动模式。
• TeamUP 采用受 R-max 启发的基于模型的强化学习框架，并引入定制化的奖励塑形机制，将探索视为对抗性优化问题。
• 该算法通过分析长期收益权衡与战略倾向，识别异构对手中潜在的合作对象。
• 通过模拟规划构建联合行动策略，假设存在隐性共谋，以最大化期望效用。
• 该方法使用值函数近似来估计未来奖励，并基于对对手行为的预测指导动作选择。
• 探索通过优化最坏情况性能来战略性引导，确保对不可预测或对抗性对手的鲁棒性。

实验结果

研究问题

• RQ1 智能体能否在重复对抗性游戏中自主识别并形成与异构对手的隐性协作？
• RQ2 如何利用自动化规划在无需显式通信或相互合作的情况下超越纳什均衡收益？
• RQ3 奖励塑形与对抗性探索在重复常和博弈中能在多大程度上提升性能？
• RQ4 基于模型的强化学习智能体能否在真实世界锦标赛环境中超越为自我对弈或完全理性假设设计的策略？
• RQ5 此类规划智能体在多次游戏迭代中，能多大程度上适应并利用多样化对手的行为？

主要发现

• TeamUP 在首届柠檬水摊游戏锦标赛中取得最高表现，超越了原始获胜策略。
• 该算法成功与广泛范围的异构对手（包括复杂对手）建立了稳定且有效的协作。
• TeamUP 在多次游戏迭代和多种对手类型下，持续获得超过纳什均衡的得分。
• 奖励塑形机制通过将探索视为对抗性优化问题，实现了有效探索，提升了鲁棒性与收敛性。
• 基于模型的规划方法使 TeamUP 能够预判对手行为并协调联合行动，而无需显式通信。
• 实证结果表明，结合隐性共谋的自动化规划可显著超越重复对抗性环境中的标准博弈论基线。