[论文解读] MiniHack the Planet: A Sandbox for Open-Ended Reinforcement Learning Research

Mikayel Samvelyan, Robert Kirk+8 more|arXiv (Cornell University)|Sep 27, 2021

Reinforcement Learning in Robotics被引用 11

一句话总结

MiniHack 是一个基于 NetHack 丰富网格世界机制构建的灵活、开放的强化学习（RL）沙盒，通过人类可读的领域特定语言（DSL）或 Python API，支持快速原型开发复杂、程序化生成的环境。它支持现有基准的无缝集成、多模态观测以及高级 RL 任务——在导航、技能获取和无监督环境设计方面，基于 DQN、PPO 和 A2C 等基线模型展现出最先进的性能。

ABSTRACT

Progress in deep reinforcement learning (RL) is heavily driven by the availability of challenging benchmarks used for training agents. However, benchmarks that are widely adopted by the community are not explicitly designed for evaluating specific capabilities of RL methods. While there exist environments for assessing particular open problems in RL (such as exploration, transfer learning, unsupervised environment design, or even language-assisted RL), it is generally difficult to extend these to richer, more complex environments once research goes beyond proof-of-concept results. We present MiniHack, a powerful sandbox framework for easily designing novel RL environments. MiniHack is a one-stop shop for RL experiments with environments ranging from small rooms to complex, procedurally generated worlds. By leveraging the full set of entities and environment dynamics from NetHack, one of the richest grid-based video games, MiniHack allows designing custom RL testbeds that are fast and convenient to use. With this sandbox framework, novel environments can be designed easily, either using a human-readable description language or a simple Python interface. In addition to a variety of RL tasks and baselines, MiniHack can wrap existing RL benchmarks and provide ways to seamlessly add additional complexity.

研究动机与目标

• 为解决简单、受控的 RL 环境与复杂、现实世界基准之间的差距，通过支持系统化、可扩展的环境设计，填补这一空白。
• 提供一个框架，使研究人员能够在保持实验控制的前提下，逐步提升环境复杂度以开展假设检验。
• 通过丰富且可扩展的环境，支持多样化的 RL 研究领域，如无监督技能发现、迁移学习和语言引导的 RL。
• 实现现有基准（如 MiniGrid、Boxoban）的无缝迁移与扩展，利用 NetHack 的实体和动态机制。
• 为 DQN、PPO 和 A2C 提供标准化的基线和训练配置，以加速未来研究。

提出的方法

• 该框架使用 NetHack 的领域特定语言（DSL）通过人类可读的 des 文件定义程序化生成的环境，实现仅需极少代码即可快速创建环境。
• 它将这些描述编译为兼容标准 Gym 的 RL 环境，支持符号化、基于像素和文本的观测。
• 该系统可通过仅几行代码扩展现有基准，通过注入 NetHack 实体（如怪物、门、熔岩）和随机动力学。
• 它支持多智能体和对抗性训练，包括使用 LSTM 基政策网络的 PAIRED 算法实现无监督环境设计。
• 该框架与主流 RL 库（如 RLlib、TorchBeast）集成，并提供预配置的训练脚本和超参数，适用于基线方法。
• 它支持端到端训练，包括循环网络（LSTM）和标准 RL 组件，如优先经验回放和价值函数裁剪。

实验结果

研究问题

• RQ1 模块化、可扩展的框架是否能够使研究人员在保持实验控制的前提下，系统性地从简单到复杂 RL 环境逐步提升？
• RQ2 在几乎不增加工程开销的前提下，现有基准在多大程度上可以借助 NetHack 的丰富动态实体进行扩展？
• RQ3 MiniHack 在支持高级 RL 研究（如无监督环境设计和多模态观测学习）方面效果如何？
• RQ4 MiniHack 是否可以作为统一平台，用于评估多样化的 RL 能力，包括探索、信用分配和迁移学习？
• RQ5 标准 RL 算法（DQN、PPO、A2C）在 MiniHack 的导航和技能获取任务套件上的表现如何？

主要发现

• 使用 DQN、PPO 和 A2C 训练的基线智能体在 MiniHack 的导航和技能获取任务中均实现了稳定的学习曲线，中位数回报在 500k 个时间步内持续提升。
• PAIRED 算法成功利用 PPO 训练的对抗策略，在 MiniHack 中生成了新颖且具有挑战性的关卡，证明了无监督环境设计的可行性。
• 从 MiniGrid 和 Boxoban 移植的环境已成功集成到 MiniHack 中，并通过添加 NetHack 实体得到扩展，展示了该框架的互操作性。
• 在 MiniHack 中使用多模态观测（符号化、像素、文本）实现了更丰富的状态表示，支持复杂推理任务。
• 使用 1 块 GPU 和 10 个 CPU 的配置实现了高效的墙钟时间速度，且超参数已针对所有算法的稳定学习进行调优。
• 该框架的模块化设计支持快速环境创建——例如，仅用 10 行以内的 DSL 代码即可生成复杂的迷宫或走廊系统。