[论文解读] Asynchronous Advantage Actor-Critic Agent for Starcraft II

Basel Alghanem, P G Keerthana|arXiv (Cornell University)|Jul 22, 2018

Reinforcement Learning in Robotics参考文献 7被引用 4

一句话总结

本文提出一种基于迁移学习的异步优势演员评论家（A3C）智能体，用于《星际争霸II》，以提升多个小型游戏中的样本效率和收敛速度。作者证明，在较简单的场景上进行预训练可显著加速学习过程，并提升在复杂复合地图（如Simple64）上的性能，优于从零开始训练的基线模型。

ABSTRACT

Deep reinforcement learning, and especially the Asynchronous Advantage Actor-Critic algorithm, has been successfully used to achieve super-human performance in a variety of video games. Starcraft II is a new challenge for the reinforcement learning community with the release of pysc2 learning environment proposed by Google Deepmind and Blizzard Entertainment. Despite being a target for several AI developers, few have achieved human level performance. In this project we explain the complexities of this environment and discuss the results from our experiments on the environment. We have compared various architectures and have proved that transfer learning can be an effective paradigm in reinforcement learning research for complex scenarios requiring skill transfer.

研究动机与目标

• 评估不同神经网络架构在训练《星际争霸II》深度强化学习智能体时的有效性。
• 探究迁移学习是否能加速不同《星际争霸II》小型游戏中的学习过程并提升策略性能。
• 分析在复杂、高维环境中训练速度与收敛至次优策略之间的权衡。
• 确定奖励稀疏性和部分可观测性对智能体训练与策略学习的影响。
• 探索利用简单任务的预训练策略解决更复杂复合场景的可行性。

提出的方法

• 作者在PySC2环境中实现异步优势演员评论家（A3C）算法，通过在多个环境上并行异步训练智能体。
• 评估三种网络架构：基线前馈网络、带有残差连接的全连接网络（PlusFC），以及卷积网络（PlusConv），后两者通过引入残差和卷积操作以提升特征提取能力。
• 通过使用相关但更简单的任务的预训练模型初始化新任务的策略网络，实现迁移学习，例如使用‘寻找并击败扎加拉虫’策略来初始化‘击败扎加拉虫与刺蛇’任务的训练。
• 智能体同时使用稀疏的三元奖励（胜/负/平）和密集的Blizzard评分，后者提供连续反馈，提升学习稳定性。
• 在一系列《星际争霸II》小型游戏中进行训练，包括CollectMineralShards、FindAndDefeatZerglings、DefeatZerglingsAndBanelings、BuildMarines以及复合地图Simple64。
• 通过模型剪枝和检查点恢复技术，减轻训练过程中策略性能下降的问题，特别是在高难度场景中。

实验结果

研究问题

• RQ1 迁移学习是否能显著缩短复杂《星际争霸II》小型游戏的训练时间并提升性能？
• RQ2 在《星际争霸II》任务中，不同神经网络架构（基线、PlusFC、PlusConv）在收敛速度和最终性能方面表现如何比较？
• RQ3 与稀疏三元奖励相比，使用密集的Blizzard评分在多大程度上提升了学习效果？
• RQ4 在更简单任务上进行预训练是否能提升在更复杂复合场景（如Simple64）中的策略泛化能力？
• RQ5 为何智能体在高难度环境中常收敛至次优策略？架构或算法上的改进能否缓解此问题？

主要发现

• 使用来自‘寻找并击败扎加拉虫’任务的预训练策略进行迁移学习，显著加速了‘击败扎加拉虫与刺蛇’任务的训练，并提升了性能，随着智能体探索更优策略，其得分随时间持续提升。
• PlusConv与PlusFC架构在收敛速度和最终性能方面均优于基线网络，尤其在需要空间推理与长程规划的复杂场景中表现更优。
• 在BuildMarines小型游戏中从零开始训练的智能体在4,000集内未取得任何有意义进展，因从未学会建造陆战队员，导致奖励始终为零，凸显了稀疏奖励与高动作空间复杂性的挑战。
• 在Simple64复合地图上，使用基线网络的智能体在18,000集后才获得非零得分，尽管性能仍低于排行榜水平，表明多任务泛化能力仍有提升空间。
• 在‘寻找并击败扎加拉虫’任务上训练的智能体随时间推移探索能力增强，但仍存在30–40%的地图区域未被探索，表明在部分可观测环境中探索仍是关键挑战。
• 训练过程中的策略退化问题迫使采用模型剪枝与从优质检查点重新训练，凸显了在高维、稀疏奖励环境中训练的不稳定性。