[论文解读] Megaverse: Simulating Embodied Agents at One Million Experiences per Second

Aleksei Petrenko, Erik Wijmans+2 more|arXiv (Cornell University)|Jul 17, 2021

Virtual Reality Applications and Impacts被引用 4

一句话总结

Megaverse 是一个用于具身强化学习的高吞吐量3D仿真平台，通过采用批量渲染和物理仿真，在单台8-GPU节点上实现了每秒超过100万次的经验采集。它支持在沉浸式、程序化生成的环境中快速、可扩展地训练单智能体与多智能体，引入了新的基准测试（Megaverse-8），挑战高级技能如导航、记忆和物体操作能力。

ABSTRACT

We present Megaverse, a new 3D simulation platform for reinforcement learning and embodied AI research. The efficient design of our engine enables physics-based simulation with high-dimensional egocentric observations at more than 1,000,000 actions per second on a single 8-GPU node. Megaverse is up to 70x faster than DeepMind Lab in fully-shaded 3D scenes with interactive objects. We achieve this high simulation performance by leveraging batched simulation, thereby taking full advantage of the massive parallelism of modern GPUs. We use Megaverse to build a new benchmark that consists of several single-agent and multi-agent tasks covering a variety of cognitive challenges. We evaluate model-free RL on this benchmark to provide baselines and facilitate future research. The source code is available at https://www.megaverse.info

研究动机与目标

• 为解决基于游戏引擎的强化学习仿真器在GPU并行计算利用不足且需跳帧的问题。
• 通过在3D环境中实现高吞吐量、低延迟的具身智能体仿真，加速深度强化学习研究。
• 通过降低计算成本同时保持丰富互动场景，实现大规模、高保真仿真资源的普惠化。
• 支持需要记忆、导航和基于物理操作的复杂、可泛化的任务，推动具身智能的发展。
• 在性能损耗最小的前提下，支持可扩展的多智能体训练，适用于协作与竞争场景。

提出的方法

• 平台采用批量渲染与物理仿真技术，充分挖掘GPU并行能力，消除跳帧，实现高经验采集速率。
• 其物理仿真频率低于传统引擎，降低计算开销，同时保持足够真实的仿真效果以支持学习。
• 引擎原生支持同一环境中多个智能体共存且无性能损失，实现高效的多智能体训练。
• 通过程序化生成多样化环境，用于测试训练后智能体的泛化能力与鲁棒性。
• 引入新基准 Megaverse-8，包含八个任务，涵盖导航、记忆、探索与操作，所有任务均配备高维本体视角观测。
• 采用奖励塑形技术（如Team Spirit）以促进多智能体设置中的合作，并通过课程学习方式逐步引入。

实验结果

研究问题

• RQ1 专用仿真引擎是否能在单台8-GPU节点上实现每秒超过100万次强化学习经验，同时支持复杂3D交互环境？
• RQ2 与传统基于游戏引擎的强化学习环境相比，批量仿真在吞吐量和资源利用率方面有何提升？
• RQ3 在无性能退化的前提下，快速仿真在协作与竞争场景中能否实现可扩展的多智能体训练？
• RQ4 快速仿真是否能加速高维3D环境中先进优化方法（如无导数优化）的评估？
• RQ5 奖励塑形策略（如Team Spirit）在复杂多智能体任务中促进智能体合作的有效性如何？

主要发现

• Megaverse 在单台8-GPU节点上实现了每秒110万次观测，相较于DeepMind Lab在完整着色3D场景中带交互物体的设置下，实现了70倍的加速。
• 该平台在标准研究硬件上，仿真速度达到Atari的20倍、DeepMind Lab的70倍，且无需跳帧。
• 多智能体训练可高效扩展：数十个智能体可同时在相同环境中运行，性能无损失。
• 在HexExplore和Collect等任务中，多个智能体可提升性能，但Team Spirit奖励塑形因增加信用分配难度而降低性能。
• 在TowerBuilding任务中，Team Spirit对合作至关重要；若无该策略，智能体会相互竞争，且随着智能体数量增加，性能下降。
• Megaverse-8基准包含八个程序化生成的任务，要求具备高级技能如记忆、物体操作以及低级行为的组合，对当前强化学习算法构成严峻挑战。