[论文解读] MSC: A Dataset for Macro-Management in StarCraft II

Huikai Wu, Zong, Yanqi+2 more|arXiv (Cornell University)|Oct 9, 2017

Artificial Intelligence in Games参考文献 31被引用 11

一句话总结

本文提出了MSC，一个大规模、标准化的《星际争霸II》宏观管理数据集，包含经过筛选的预处理、预定义的高层级动作以及划分好的训练/验证/测试集。该数据集为全局状态评估（TvT对局准确率达61.1%）和建筑顺序预测（TvT对局准确率达74.1%）建立了基线模型，推动了宏观管理任务中可复现的研究。

ABSTRACT

Macro-management is an important problem in StarCraft, which has been studied for a long time. Various datasets together with assorted methods have been proposed in the last few years. But these datasets have some defects for boosting the academic and industrial research: 1) There're neither standard preprocessing, parsing and feature extraction procedures nor predefined training, validation and test set in some datasets. 2) Some datasets are only specified for certain tasks in macro-management. 3) Some datasets are either too small or don't have enough labeled data for modern machine learning algorithms such as deep neural networks. So most previous methods are trained with various features, evaluated on different test sets from the same or different datasets, making it difficult to be compared directly. To boost the research of macro-management in StarCraft, we release a new dataset MSC based on the platform SC2LE. MSC consists of well-designed feature vectors, pre-defined high-level actions and final result of each match. We also split MSC into training, validation and test set for the convenience of evaluation and comparison. Besides the dataset, we propose a baseline model and present initial baseline results for global state evaluation and build order prediction, which are two of the key tasks in macro-management. Various downstream tasks and analyses of the dataset are also described for the sake of research on macro-management in StarCraft II. Homepage: https://github.com/wuhuikai/MSC.

研究动机与目标

• 为解决《星际争霸II》宏观管理领域缺乏标准化、大规模数据集的问题，该问题阻碍了可复现的研究。
• 为SC2LE中的重放数据提供统一的预处理、解析与特征提取流程。
• 对数据集进行一致的划分，划分为训练集、验证集和测试集，以实现宏观管理模型的公平评估。
• 为关键宏观管理任务（如全局状态评估与建筑顺序预测）建立基线模型与结果。
• 通过提供一个通用基准数据集，使不同研究之间的方法能够直接比较。

提出的方法

• 通过使用PySC2对SC2LE中的80万场重放进行筛选与解析，提取规则间隔下的状态快照，构建MSC数据集。
• 特征向量设计用于捕捉全局游戏状态与空间单位分布，经过标准化预处理与归一化。
• 基于游戏内决策（如单位生产或科技升级）预定义高层级动作，形成离散动作空间。
• 最终数据集被划分为训练集、验证集与测试集，以支持模型评估与超参数调优。
• 基线模型使用PyTorch实现，采用GRU与全连接层结构，通过共享网络架构融合全局与空间特征。
• 损失函数包括用于建筑顺序预测的负对数似然损失与用于全局状态评估的交叉熵损失，使用ADAM进行优化。

实验结果

研究问题

• RQ1 标准化、大规模数据集能否提升《星际争霸II》宏观管理研究的可复现性与可比性？
• RQ2 在统一数据集上，基线模型在全局状态评估与建筑顺序预测任务中的表现如何？
• RQ3 在宏观管理任务中，引入空间特征在多大程度上提升了模型性能？
• RQ4 在全局状态评估中，随着游戏进程推进，模型准确率提升的幅度如何？
• RQ5 基线结果在不同种族对局（如TvT、TvZ、ZvZ）中的表现差异如何？

主要发现

• 全局状态评估的基线模型在Terran vs. Terran对局中测试集准确率达到61.1%，准确率从早期（0%-25%）的52.9%提升至后期（75%-100%）的79.7%。
• 建筑顺序预测的基线模型在Terran vs. Terran对局中Top-1准确率达到74.1%，所有种族对局的准确率在73.1%至76.1%之间波动。
• 同时引入全局与空间特征后性能提升，建筑顺序预测准确率在ZvZ对局中达74.9%，在PvP对局中达76.3%。
• 全局状态评估中，模型性能随时间推移呈现明显的准确率上升趋势，表明游戏状态随时间推移变得更易预测。
• MSC数据集提供了具有一致划分与标准化特征的基准，支持未来宏观管理模型的直接比较。
• 基线结果为未来研究提供了强有力的起点，通过采用更先进的网络架构与特征工程，仍有显著提升空间。