[论文解读] MazeBase: A Sandbox for Learning from Games

Sainbayar Sukhbaatar, Arthur Szlam+3 more|arXiv (Cornell University)|Nov 23, 2015

Artificial Intelligence in Games参考文献 19被引用 46

一句话总结

MazeBase 是一个基于文本的 2D 游戏环境，旨在在不提供游戏规则或模拟的情况下，训练神经网络进行算法推理与规划。该环境支持程序化课程训练，并表明即使像条件逻辑或导航等简单任务，对当前模型而言仍具挑战性，同时展示了向现实世界任务（如 StarCraft 战斗场景）的迁移能力。

ABSTRACT

This paper introduces MazeBase: an environment for simple 2D games, designed as a sandbox for machine learning approaches to reasoning and planning. Within it, we create 10 simple games embodying a range of algorithmic tasks (e.g. if-then statements or set negation). A variety of neural models (fully connected, convolutional network, memory network) are deployed via reinforcement learning on these games, with and without a procedurally generated curriculum. Despite the tasks' simplicity, the performance of the models is far from optimal, suggesting directions for future development. We also demonstrate the versatility of MazeBase by using it to emulate small combat scenarios from StarCraft. Models trained on the MazeBase version can be directly applied to StarCraft, where they consistently beat the in-game AI.

研究动机与目标

• 创建一个受控的、可编程的环境，用于在不依赖游戏模拟或预设规则的情况下，训练机器学习模型进行算法推理与规划。
• 探究当前神经网络架构（如 MLP、ConvNets 和记忆网络）在从交互式环境中学习抽象规则化推理方面的局限性。
• 评估程序化课程在提升算法任务学习效率与性能方面的有效性。
• 展示在 MazeBase 中训练的模型向现实世界游戏环境（如 StarCraft）迁移的能力，且在简化战斗场景中表现优于游戏内 AI。
• 提供一个灵活、开源的平台，用于基准测试和开发专注于理解与推理结构化交互环境的模型。

提出的方法

• 设计一个基于文本的 2D 游戏环境，其中游戏状态以符号描述表示而非像素，从而为神经模型提供高效且可解释的输入。
• 定义 10 个体现核心算法推理任务的简单游戏，如条件逻辑、集合运算和导航，每个游戏均有明确目标且无内置模拟。
• 使用策略梯度强化学习在这些游戏中训练神经模型（MLP、ConvNet、MemNN），并对比使用与不使用逐步增加难度的课程训练的效果。
• 实施一种课程策略，为每款游戏生成复杂度递增的任务序列，以提升训练稳定性和性能。
• 利用该环境在简化版 StarCraft 战斗场景中训练模型，随后直接在完整 StarCraft 游戏中评估其表现，验证迁移能力。
• 采用类似自然语言的符号格式表示游戏状态与动作，使模型能够通过交互学习游戏元素（如水域方格、开关）的功能角色。

实验结果

研究问题

• RQ1 神经网络是否能在无游戏规则或模拟访问的情况下，在基于文本的交互式 2D 环境中学习执行基本算法推理（如 if-then 逻辑、集合否定）？
• RQ2 程序化生成的课程在多大程度上提升了 MazeBase 中算法推理任务的学习效率与性能？
• RQ3 在部分可观测、交互式的环境中，不同神经架构（MLP、ConvNet、MemNN）在解决需要记忆、推理与规划的任务时表现如何比较？
• RQ4 在 MazeBase 中训练的模型能否泛化到现实世界游戏环境（如 StarCraft），并在简化战斗场景中表现优于游戏内 AI？
• RQ5 当前深度学习模型在从交互式符号环境学习抽象规则化推理方面存在哪些关键局限？

主要发现

• 尽管任务本身简单，当前神经模型（包括 MLP、ConvNets 和 MemNNs）仍无法达到最优性能，表明其在推理与规划能力方面存在显著差距。
• MemNN 模型在涉及大信息项或复杂依赖关系的任务中优于 MLP 和 ConvNet 基线模型，表明记忆容量是关键瓶颈。
• 使用课程显著提升了所有模型的测试性能，最佳设置（MemNN + 课程）的平均奖励为 -1.78，而无课程设置为 -2.37。
• 在 MazeBase 中训练的模型成功迁移至 StarCraft，在小型战斗场景中持续击败游戏内 AI，证明该环境在零样本迁移学习中的实用性。
• 所有游戏中最优性能的估计平均奖励为 -0.89，而最佳模型（MemNN + 课程）达到 -1.78，表明存在显著性能差距，凸显改进推理模型的必要性。
• 即使经过大量训练与课程引导，模型在需要长期规划或预测的任务中仍表现困难，表明当前架构缺乏模拟未来状态或推理动作后果的能力。