[论文解读] Combining Strategic Learning and Tactical Search in Real-Time Strategy Games

Nicolas A. Barriga, Marius Stănescu+1 more|arXiv (Cornell University)|Sep 11, 2017

Artificial Intelligence in Games参考文献 28被引用 20

一句话总结

本文提出了一种用于即时战略（RTS）游戏的混合AI架构，结合了用于高层战略决策的深度卷积神经网络（CNN）与用于低层战术优化的蒙特卡洛树搜索（MCTS）。CNN通过监督学习在Puppet Search输出上进行训练，选择抽象动作，剩余计算时间则用于局部战术搜索，最终实现56.7%的胜率，超过单一组件及当前最先进代理在标准地图上的表现。

ABSTRACT

A commonly used technique for managing AI complexity in real-time strategy (RTS) games is to use action and/or state abstractions. High-level abstractions can often lead to good strategic decision making, but tactical decision quality may suffer due to lost details. A competing method is to sample the search space which often leads to good tactical performance in simple scenarios, but poor high-level planning. We propose to use a deep convolutional neural network (CNN) to select among a limited set of abstract action choices, and to utilize the remaining computation time for game tree search to improve low level tactics. The CNN is trained by supervised learning on game states labelled by Puppet Search, a strategic search algorithm that uses action abstractions. The network is then used to select a script --- an abstract action --- to produce low level actions for all units. Subsequently, the game tree search algorithm improves the tactical actions of a subset of units using a limited view of the game state only considering units close to opponent units. Experiments in the microRTS game show that the combined algorithm results in higher win-rates than either of its two independent components and other state-of-the-art microRTS agents. To the best of our knowledge, this is the first successful application of a convolutional network to play a full RTS game on standard game maps, as previous work has focused on sub-problems, such as combat, or on very small maps.

研究动机与目标

• 通过结合高层抽象与低层搜索，解决RTS AI中战略规划与战术精度之间的权衡问题。
• 将深度学习扩展至完整尺寸的RTS地图，克服以往研究局限于小地图或子问题的局限性。
• 通过使用快速策略网络释放计算时间用于战术搜索，提升决策质量，同时不牺牲战略一致性，从而提高AI性能。
• 首次在标准地图上成功应用CNN实现完整RTS游戏的运行，而非简化或子游戏场景。

提出的方法

• 通过监督学习在Puppet Search（一种使用动作抽象的战略搜索算法）标注的游戏状态上训练深度卷积神经网络（CNN）。
• 策略网络预测一个高层级的“脚本”——即单位控制的抽象动作序列——使用26个输入特征平面，表示单位类型、生命值、归属关系及资源水平。
• 策略选择完成后，剩余计算时间被分配给NaïveMCTS，一种战术搜索算法，通过有限的局部视野优化靠近敌方单位的行动。
• CNN采用固定的3ms推理时间，其余时间（最多80%）用于MCTS，通过实验性的时间分配调优（20%用于Puppet Search，80%用于MCTS）进行优化。
• 网络架构为全卷积结构，可在不增加参数量的情况下扩展至更大地图，并支持跨地图尺寸的迁移学习。
• 该方法利用Puppet Search生成的标注数据，避免强化学习在RTS游戏中稀疏奖励下样本效率低下的问题。

实验结果

研究问题

• RQ1 在战略搜索输出上进行训练的深度CNN能否有效泛化至完整尺寸的RTS地图，同时保持高层决策质量？
• RQ2 将快速策略网络与时间分配的战术搜索算法结合，是否能优于独立的战略或战术代理？
• RQ3 混合架构能否缓解RTS游戏中战略抽象与战术精度之间的权衡？
• RQ4 基于CNN的代理性能在多大程度上依赖于Puppet Search训练数据的质量与多样性？
• RQ5 所提出的全卷积架构是否能够实现迁移学习或跨地图泛化？

主要发现

• 混合代理在对阵其Puppet Search对手时取得了56.7%的胜率，表明结合战略学习与战术搜索可显著提升整体性能。
• 策略网络单独运行时胜率与Puppet Search相当，但推理速度显著更快（约3ms），从而可释放时间用于战术搜索。
• 当与策略网络结合时，战术搜索组件（NaïveMCTS）在战斗密集场景中显著提升了性能。
• 该系统在性能上超越了两个独立组件及其他最先进μRTS代理，标志着首个在标准地图上成功运行的基于CNN的完整RTS游戏代理。
• 网络在预测游戏结果方面的准确性在更大地图上更高，可能是因为在这些环境中长期规划的战略重要性更强。
• 尽管整体表现强劲，策略网络在面对特定对手（如WorkerRush和AHTN-P）时仍显薄弱，表明训练集中可能存在数据或泛化缺陷。