[论文解读] StarCraft Micromanagement with Reinforcement Learning and Curriculum Transfer Learning

Kun Shao, Yuanheng Zhu+1 more|arXiv (Cornell University)|Apr 3, 2018

Artificial Intelligence in Games参考文献 49被引用 5

一句话总结

本文提出了一种强化学习与课程迁移学习相结合的方法，用于《星际争霸》微操控制，采用参数共享的多智能体Sarsa(λ)算法并结合神经函数逼近，同时设计了定制化的奖励函数，以实现多单位的协作控制。该方法在小规模场景中实现了100%胜率，并通过课程学习逐步训练单位，在大规模战斗中表现出更优性能。

ABSTRACT

Real-time strategy games have been an important field of game artificial intelligence in recent years. This paper presents a reinforcement learning and curriculum transfer learning method to control multiple units in StarCraft micromanagement. We define an efficient state representation, which breaks down the complexity caused by the large state space in the game environment. Then a parameter sharing multi-agent gradientdescent Sarsa(λ) (PS-MAGDS) algorithm is proposed to train the units. The learning policy is shared among our units to encourage cooperative behaviors. We use a neural network as a function approximator to estimate the action-value function, and propose a reward function to help units balance their move and attack. In addition, a transfer learning method is used to extend our model to more difficult scenarios, which accelerates the training process and improves the learning performance. In small scale scenarios, our units successfully learn to combat and defeat the built-in AI with 100% win rates. In large scale scenarios, curriculum transfer learning method is used to progressively train a group of units, and shows superior performance over some baseline methods in target scenarios. With reinforcement learning and curriculum transfer learning, our units are able to learn appropriate strategies in StarCraft micromanagement scenarios.

研究动机与目标

• 解决在高维状态空间与动作空间的复杂动态《星际争霸》微操场景中控制多个单位的挑战。
• 通过利用课程迁移学习，提升大规模战斗中的样本效率与学习性能。
• 通过策略共享与高效的态势表示，实现单位间的协作行为。
• 通过设计内在奖励函数，有效缓解微操中稀疏且延迟的奖励问题。

提出的方法

• 提出一种高效的态势表示方法，通过聚焦于相关单位与敌方单位信息，降低大规模状态空间的复杂度。
• 提出一种参数共享的多智能体梯度下降Sarsa(λ)（PS-MAGDS）算法，通过共享策略实现在单位间协作学习。
• 采用深度神经网络作为动作价值函数的函数逼近器，实现对相似单位配置的泛化能力。
• 设计一种奖励函数，平衡移动与攻击决策，促进有效的战斗行为。
• 应用课程迁移学习，逐步在更复杂的场景中训练智能体，加速收敛并提升最终性能。
• 采用分层训练策略，先求解更简单的战斗场景（如3 vs. 6），再逐步过渡到更复杂的场景（如20 vs. 30）。

实验结果

研究问题

• RQ1 在《星际争霸》微操中，多个单位共享策略是否能在无集中协调的情况下实现有效的协作行为？
• RQ2 如何通过奖励函数设计有效缓解微操中稀疏且延迟的奖励问题？
• RQ3 课程迁移学习是否能显著提升大规模《星际争霸》战斗场景中的训练效率与性能？
• RQ4 深度强化学习智能体在无手工编码战术的情况下，能在多大程度上学习到复杂策略（如袭扰、包抄、集中火力）？
• RQ5 在不同场景复杂度下，所提出的PS-MAGDS算法与基线方法相比，在胜率与收敛速度方面表现如何？

主要发现

• 在小规模场景中（如3个戈利亚斯 vs. 6个狂战士），所提方法对内置AI实现了100%胜率，展现出有效的微操与协作能力。
• 单位成功学习并执行了全局策略，如将敌人分隔为小队并集中火力攻击孤立目标。
• 在大规模场景中（如20个陆战队员 vs. 30个扎基林），课程迁移学习方法实现了稳定训练，并优于基线方法。
• 单位学习到局部战术，如“袭扰”战术，包括快速移动、攻击与撤退的循环，该行为在游戏回放可视化中可被观察到。
• 通过课程学习，方法展现出更好的可扩展性与样本效率，缩短了训练时间，并增强了在复杂场景中的泛化能力。
• 尽管性能强劲，仍存在一些局限性，如参战时机不一致，以及倾向于向地图边界移动以躲避敌人。