[论文解读] Experiments with Game Tree Search in Real-Time Strategy Games

Santiago Ontañón|arXiv (Cornell University)|Aug 9, 2012

Artificial Intelligence in Games参考文献 17被引用 9

一句话总结

本文提出RTMM（实时极小化极大），一种针对实时战略（RTS）游戏改进的极小化极大算法变体，解决了非回合制游戏玩法的挑战。结果表明，RTMM在分支因子较低的简化RTS游戏中能实现出色的战术表现，但在缺乏额外采样技术（如UCT）的情况下，难以应对复杂、高分支的环境。

ABSTRACT

Game tree search algorithms such as minimax have been used with enormous success in turn-based adversarial games such as Chess or Checkers. However, such algorithms cannot be directly applied to real-time strategy (RTS) games because a number of reasons. For example, minimax assumes a turn-taking game mechanics, not present in RTS games. In this paper we present RTMM, a real-time variant of the standard minimax algorithm, and discuss its applicability in the context of RTS games. We discuss its strengths and weaknesses, and evaluate it in two real-time games.

研究动机与目标

• 探究传统博弈树搜索算法（如极小化极大）是否可有效适配于传统上假设为回合制机制的实时战略（RTS）游戏。
• 解决实时游戏玩法的核心挑战，即动作连续且同时发生，使标准极小化极大算法无法适用。
• 在隔离其他RTS复杂性（如部分可观测性和非确定性）的前提下，仅聚焦于实时执行，评估RTMM的性能。
• 在简化和完整规模的RTS环境中评估RTMM的性能，并与基线AI策略进行比较。
• 确立RTMM作为将博弈树搜索扩展至实时领域的基础框架，尤其在结合如UCT等基于采样的方法时。

提出的方法

• 提出RTMM，一种极小化极大的实时变体，通过限制前瞻深度并优先选择即时动作，对标准算法进行修改以处理连续且同时执行的动作。
• 引入RRTMM（随机化RTMM），通过应用随机化的α-β剪枝来提升在高不确定性或同时动作场景下的鲁棒性。
• 使用基于单位资源成本的简单评估函数来估算游戏状态价值，避免使用复杂的启发式方法。
• 在两个测试环境中实现RTMM：BattleCity（一种简化的实时动作游戏）和μRTS（一种具备完全可观测性和确定性机制的极简RTS模拟器）。
• 在固定深度限制和时间预算下应用RTMM，确保即使在搜索过程中游戏状态持续演化，也能在实时约束内完成动作选择。
• 在4v4单位对战（melee）和8x8地图、基地建造的完整游戏（full-game）场景中，将RTMM与随机策略和rush策略AI进行对比，以评估其战术与战略表现。

实验结果

研究问题

• RQ1 标准极小化极大算法能否有效适配于缺乏回合制机制的实时战略游戏？
• RQ2 在动作连续执行且同时发生的实时环境中，RTMM的表现如何？
• RQ3 分支因子和前瞻深度对RTMM在RTS游戏中有效性的影响是什么？
• RQ4 RTMM是否能在低复杂度场景中实现出色的战术表现？在高复杂度设置下，其与战略AI相比表现如何？
• RQ5 RTMM能否作为基础框架，与基于采样的方法（如UCT）结合，以应对完整RTS游戏中巨大的分支因子？

主要发现

• 在μRTS-Melee场景（4v4单位对战）中，基于RTMM的AI在20场比赛中击败随机AI 18场，击败rush AI 15场，表现出出色的战术能力。
• 在μRTS-Full完整场景中，RTMM击败了随机AI（22胜、0平、58负），但对战rush AI时全败，表明其长期战略规划能力较差。
• 在完整游戏场景中，分支因子增长至数万，严重限制了前瞻深度，尽管游戏开始时最大前瞻时间可达4.9秒，RTMM的有效性仍大幅下降。
• RRTMM（随机化α-β剪枝变体）在melee场景中优于标准RTMM，表明在同时动作环境中，随机化剪枝可提升鲁棒性。
• RTMM在分支因子可控的短期战术决策中表现出色，但在战略深度方面表现不足，如其无法有效应对完整游戏中简单的rush策略。
• 结果表明，RTMM本身不足以应对复杂RTS游戏，必须结合基于采样的方法（如UCT）以管理巨大分支因子并实现更深层次搜索。