[论文解读] DeepMind Lab

Charles Beattie, Joel Z. Leibo+19 more|arXiv (Cornell University)|Dec 12, 2016

Artificial Intelligence in Games被引用 40

一句话总结

DeepMind Lab 是一个基于 Quake III Arena 引擎构建的第三人称 3D 强化学习平台，旨在通过复杂、视觉丰富且物理上逼真的环境研究通用人工智能。该平台支持通过灵活的 API 实现 RGB、RGBD 和速度观测，帧率最高可达 996.6 FPS（GPU 上 84×84 分辨率）。

ABSTRACT

DeepMind Lab is a first-person 3D game platform designed for research and development of general artificial intelligence and machine learning systems. DeepMind Lab can be used to study how autonomous artificial agents may learn complex tasks in large, partially observed, and visually diverse worlds. DeepMind Lab has a simple and flexible API enabling creative task-designs and novel AI-designs to be explored and quickly iterated upon. It is powered by a fast and widely recognised game engine, and tailored for effective use by the research community.

研究动机与目标

• 创建一个可扩展、高性能的 3D 环境，用于在视觉和物理上复杂的环境中训练通用人工智能代理。
• 通过支持第一人称 3D 导航与精细控制，克服 2D 环境（如 Atari）和较不灵活的 3D 平台的局限性。
• 支持自主代理在部分可观测、动态环境中通过探索和自监督目标进行学习。
• 提供一个研究平台，促进新型强化学习算法与任务设计的快速原型开发。
• 在具备丰富感官输入和真实物理特性的平台上，支持泛化能力、规划能力与视觉运动协调能力的基准测试。

提出的方法

• 基于开源 ioquake3 引擎构建，使用自定义资源和关卡生成工具（q3map2、bspc）创建多样化的 3D 环境。
• 从代理的第一人称视角暴露原始 RGB 和 RGBD（带每像素深度）观测，同时支持可选的速度和奖励信号。
• 支持丰富的动作空间，包括 3D 移动（前进/后退、侧移、下蹲、跳跃）、3D 视线控制（上下/左右），以及特定游戏模式下的标记功能。
• 采用锁步模拟循环，环境在每个代理动作后前进一个时间步，实现确定性、高保真度的强化学习训练。
• 提供 Python API，实现与强化学习框架的无缝集成，支持通过 step、reset 和观测获取函数与代理交互。
• 同时支持传统的 Quake III Arena 地图文件（.pk3）和人类可读的基于文本的关卡定义，便于快速原型设计与定制。

实验结果

研究问题

• RQ1 代理是否能在 3D、部分可观测、视觉丰富的环境中学习复杂、长时程的任务，如导航、物品收集和策略制定？
• RQ2 在具有复杂视觉输入的 3D 第一人称平台中，辅助学习目标和异步深度强化学习方法的有效性如何？
• RQ3 在极少监督的情况下，代理在程序化生成的 3D 环境中泛化的程度如何？
• RQ4 在视觉运动控制任务中，引入深度和速度观测在多大程度上提升了学习效率和策略性能？
• RQ5 该平台是否能够通过在丰富 3D 世界中实现自监督探索和内在动机，支持通用智能的发展？

主要发现

• 在 84×84 分辨率下，RGB 观测在 nav_maze_static_01 关卡中 GPU 上最高可达 996.6 帧每秒，表明平台具备极高的计算效率。
• 在相同条件下，RGBD 观测将帧率降至 995.8 帧每秒，证明平台内深度感知的计算可行性。
• 在 320×240 分辨率下，nav_maze_static_01 关卡中 GPU 上 RGB 的帧率为 950.0 帧每秒，RGBD 为 784.7 帧每秒，表明平台在不同分辨率下具备良好的可扩展性。
• 在 84×84 分辨率下，lt_space_bounce_hard 关卡在 CPU 上实现 866.0 帧每秒，在 GPU 上实现 850.3 帧每秒，证实平台在不同类型任务中均保持一致的性能表现。
• 该平台已推动强化学习领域的关键进展，包括异步方法（Mnih et al., 2016）和无监督辅助任务（Jaderberg et al., 2016）的开发。
• 平台支持无头运行和远程执行，可在非交互式和分布式计算环境中实现高性能训练。