[论文解读] AlphaStar Unplugged: Large-Scale Offline Reinforcement Learning

Michaël Mathieu, Sherjil Ozair+22 more|arXiv (Cornell University)|Aug 7, 2023

Artificial Intelligence in Games被引用 5

一句话总结

本文介绍了 AlphaStar Unplugged，这是一个基于超过一百万局人类对战《星际争霸II》游戏的大型离线强化学习基准。结果表明，一种一步离线强化学习方法（先学习行为策略与价值函数，再利用价值函数改进策略）在对抗先前的 AlphaStar 行为克隆代理时达到了 90% 的胜率，优于该复杂、高维环境中标准的离线强化学习方法。

ABSTRACT

StarCraft II is one of the most challenging simulated reinforcement learning environments; it is partially observable, stochastic, multi-agent, and mastering StarCraft II requires strategic planning over long time horizons with real-time low-level execution. It also has an active professional competitive scene. StarCraft II is uniquely suited for advancing offline RL algorithms, both because of its challenging nature and because Blizzard has released a massive dataset of millions of StarCraft II games played by human players. This paper leverages that and establishes a benchmark, called AlphaStar Unplugged, introducing unprecedented challenges for offline reinforcement learning. We define a dataset (a subset of Blizzard's release), tools standardizing an API for machine learning methods, and an evaluation protocol. We also present baseline agents, including behavior cloning, offline variants of actor-critic and MuZero. We improve the state of the art of agents using only offline data, and we achieve 90% win rate against previously published AlphaStar behavior cloning agent.

研究动机与目标

• 建立一个具有挑战性的大规模离线强化学习基准，使用来自《星际争霸II》的真实人类对战数据。
• 评估离线强化学习算法在具有长时程规划、稀疏奖励、部分可观测的多智能体复杂环境中的表现。
• 识别现有离线强化学习方法（如基于回报条件的行为克隆和基于 Q 函数的方法）在高维、类真实世界数据上的局限性。
• 提出并验证一种新的两步离线强化学习方法：首先学习行为策略与价值函数，然后利用价值函数改进策略。
• 通过消除对在线环境交互的需求，降低计算需求，使更多研究者能够参与《星际争霸II》强化学习研究。

提出的方法

• 利用暴雪 Battle.net 上超过一百万局人类玩家对战的《星际争霸II》回放数据集，该数据集为官方发布版本的子集。
• 标准化 API 与评估协议，以确保不同方法在离线强化学习智能体上的基准测试一致性。
• 提出一种两步训练方法：首先从离线数据中预训练行为策略与行为价值函数，然后在训练或推理过程中使用价值函数来优化策略。
• 采用一步离线强化学习方法，包括行为克隆、离线演员-critic 以及 MuZero 变体，从固定数据集学习，无需与环境交互。
• 将行为价值函数作为 critic 信号，指导策略改进，避免了对迭代式 off-policy 更新或复杂价值函数校正的需求。
• 实现一个仅作用于自回归动作空间函数参数的 Q 函数，以规避建模完整自回归动作分布的挑战。

Figure 1 : Histogram of player MMR from replays used for training.

实验结果

研究问题

• RQ1 标准离线强化学习算法（如基于回报条件的行为克隆和基于 Q 函数的方法）能否有效泛化到像《星际争霸II》这样大规模、高维、部分可观测的环境？
• RQ2 当离线强化学习方法仅在弱人类玩家的数据上进行训练时，其表现如何？与专家或合成轨迹相比有何差异？
• RQ3 在复杂环境中，是否一步离线强化学习方法（即通过预训练价值函数指导策略改进）能够优于更复杂的迭代式离线强化学习算法？
• RQ4 行为策略与价值函数联合学习在长时程、稀疏奖励任务中，对离线强化学习性能的提升程度如何？
• RQ5 在标准方法失效的情况下，哪些关键的架构与训练设计选择促成了大规模离线强化学习的成功？

主要发现

• 标准离线强化学习方法（如基于回报条件的行为克隆和基于 Q 函数的方法）在对抗最弱对手时未能赢得任何一局，表明其在该基准上泛化能力极差。
• 所有测试的标准离线强化学习方法均表现不如一个简单的无条件行为克隆基线模型，凸显了现有方法在真实世界类多样性人类数据上的局限性。
• 采用一步离线强化学习方法（先学习行为策略与价值函数，再利用价值函数改进策略）的模型，在对抗先前发布的 AlphaStar 行为克隆代理时达到了 90% 的胜率。
• 表现最佳的智能体始终依赖于预训练的行为价值函数来指导策略改进，表明其在有效离线学习中起着关键作用。
• 该基准揭示了当前在小规模离线强化学习基准上表现先进的算法，并不能泛化到大规模、类真实世界环境中，表明需要新的算法设计。
• 通过使用离线数据替代在线环境交互，显著降低了计算需求，使大规模《星际争霸II》强化学习研究对更广泛的研究社区更加可及。

Figure 2 : Training procedure.