[论文解读] An Introduction of mini-AlphaStar

Ruo-Ze Liu, Wenhai Wang+4 more|arXiv (Cornell University)|Apr 14, 2021

Artificial Intelligence in Games参考文献 7被引用 5

一句话总结

本文介绍了 mini-AlphaStar（mAS），这是 DeepMind 的 AlphaStar 代理在 StarCraft II 中的缩小版重实现，旨在可在标准硬件上进行训练。通过减少超参数，同时保留核心架构和训练流程——包括监督学习、强化学习以及多智能体联赛机制——mAS 使得在复杂实时战略环境中对先进强化学习代理的研究更加可及，所有代码均已开源，以支持可复现性和进一步开发。

ABSTRACT

StarCraft II (SC2) is a real-time strategy game in which players produce and control multiple units to fight against opponent's units. Due to its difficulties, such as huge state space, various action space, a long time horizon, and imperfect information, SC2 has been a research hotspot in reinforcement learning. Recently, an agent called AlphaStar (AS) has been proposed, which shows good performance, obtaining a high win rate of 99.8% against human players. We implemented a mini-scaled version of it called mini-AlphaStar (mAS) based on AS's paper and pseudocode. The difference between AS and mAS is that we substituted the hyper-parameters of AS with smaller ones for mini-scale training. Codes of mAS are all open-sourced (https://github.com/liuruoze/mini-AlphaStar) for future research.

研究动机与目标

• 开发一个更小、可在商用硬件上部署的 AlphaStar 版本，以克服原始代理巨大的计算需求。
• 在微型化形式中保留 AlphaStar 的核心架构和训练组件，包括监督学习、强化学习以及多智能体联赛机制。
• 为研究人员提供一个可复现、开源的平台，用于在复杂多智能体环境（如 StarCraft II）中实验先进的深度强化学习。
• 探究在容量和训练资源受限的情况下，缩小规模的代理是否仍能学习到具有竞争力的策略。

提出的方法

• 模型采用 AlphaStar 架构的提炼版本，包括三个编码器（实体、空间、标量）、一个带有残差块和 LSTM 层的核心网络，以及六个用于动作预测的输出头。
• 通过使用人类专家对战回放数据进行监督学习，预先训练代理以学习人类行为模式，之后再进行强化学习。
• 强化学习通过多智能体联赛中的自我对弈进行，智能体根据胜率记录进行排名，以指导对手选择。
• 多智能体联赛采用自适应对手选择策略：主要利用者通过方差加权采样选择历史上的强敌，而联赛利用者则采用截断线性加权。
• 将学习率、批量大小、序列长度、嵌入维度和网络深度等超参数显著降低（例如，原始模型的 1024 降低至 256，记为 original_1024），以实现在普通机器上的训练。
• 训练流程包括用于价值估计的基线网络，以及受 pFSP 启发的策略改进方法，但 z-value 生成部分仍部分未实现。

实验结果

研究问题

• RQ1 在显著缩小规模的情况下，AlphaStar 的简化版本是否仍能在 StarCraft II 中实现具有竞争力的表现，同时可在标准硬件上进行训练？
• RQ2 在微型化形式中保留 AlphaStar 的核心架构和训练方法，在多大程度上能维持学习效率和策略质量？
• RQ3 在资源受限环境下，监督预训练与多智能体自我对弈强化学习的结合有多高效？
• RQ4 在复制 AlphaStar 的战略深度和适应性方面，小型模型存在哪些局限性？

主要发现

• mini-AlphaStar 模型成功实现了 AlphaStar 的核心架构和训练流程，包括监督学习、强化学习以及多智能体联赛机制。
• 该模型功能正常，可在标准商用硬件上按预期运行，且所有代码已公开发布于 GitHub，供社区使用。
• 尽管训练流程运行正确，但代理的最终表现并不理想，表明模型缩小会影响策略质量和竞争实力。
• 使用更小的超参数——如减少的嵌入大小（1543 vs. 3585）、更少的 LSTM 层（1 vs. 3）以及更少的残差块（4 vs. 16）——使模型可在普通硬件上训练，但限制了其表征能力。
• 多智能体联赛机制成功支持动态对手选择，利用者通过方差加权采样，联赛利用者通过截断线性加权，有效维持了训练对手的多样性。