[论文解读] ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills

Jiayuan Gu, Fanbo Xiang+13 more|arXiv (Cornell University)|Feb 9, 2023

Robot Manipulation and Learning被引用 21

一句话总结

ManiSkill2 提供一个统一的、完全动态的三维操控基准，涵盖 20 个任务族、2000+ 对象、4M+ 次演示、支持多控制器、快速视觉强化学习，以及用于通用操控研究的软体物理。

ABSTRACT

Generalizable manipulation skills, which can be composed to tackle long-horizon and complex daily chores, are one of the cornerstones of Embodied AI. However, existing benchmarks, mostly composed of a suite of simulatable environments, are insufficient to push cutting-edge research works because they lack object-level topological and geometric variations, are not based on fully dynamic simulation, or are short of native support for multiple types of manipulation tasks. To this end, we present ManiSkill2, the next generation of the SAPIEN ManiSkill benchmark, to address critical pain points often encountered by researchers when using benchmarks for generalizable manipulation skills. ManiSkill2 includes 20 manipulation task families with 2000+ object models and 4M+ demonstration frames, which cover stationary/mobile-base, single/dual-arm, and rigid/soft-body manipulation tasks with 2D/3D-input data simulated by fully dynamic engines. It defines a unified interface and evaluation protocol to support a wide range of algorithms (e.g., classic sense-plan-act, RL, IL), visual observations (point cloud, RGBD), and controllers (e.g., action type and parameterization). Moreover, it empowers fast visual input learning algorithms so that a CNN-based policy can collect samples at about 2000 FPS with 1 GPU and 16 processes on a regular workstation. It implements a render server infrastructure to allow sharing rendering resources across all environments, thereby significantly reducing memory usage. We open-source all codes of our benchmark (simulator, environments, and baselines) and host an online challenge open to interdisciplinary researchers.

研究动机与目标

• 促进在具有多样对象级变体和完全动态仿真的情境中可复现的通用操控技能研究。
• 提供一个统一的 OpenAI Gym 接口，支持多种观测模式和控制器。
• 实现快速数据收集以用于视觉强化学习，并支持跨框架的比较。
• 支持软体和刚体相互作用，并在软体与刚体仿真器之间实现双向耦合。
• 在同一基准中促进感知-规划-执行、模仿学习和强化学习，并提供在线挑战。

提出的方法

• 介绍涵盖静止/移动底座、单臂/双臂，以及刚体/软体操控的 20 个任务族。
• 在统一的 Gym 接口下实现具有 2000+ 对象模型和 4M+ 演示的完全动态仿真。
• 开发实时的 GPU 加速软体 MPM 仿真器，并实现与刚体仿真器（SAPIEN）之间的双向耦合，以实现硬软耦合交互。
• 提供多种控制器（关节空间、增量关节空间、末端执行器位姿增量等）以及将演示动作空间转换，以使演示与不同控制器对齐。
• 通过异步渲染和渲染服务器实现视觉强化学习的快速采样，以在不同环境间共享 GPU 资源。
• 提供跨控制器空间的演示动作转换工具，以保留动态过程。

Figure 1: ManiSkill2 provides a unified, fast, and accessible system that encompasses well-curated manipulation tasks (e.g., stationary/mobile-base, single/dual-arm, rigid/soft-body).

实验结果

研究问题

• RQ1 一个统一基准如何在多样的任务族和对象变体中支持对通用与可推广操控技能的评估？
• RQ2 在一个高保真、实时的仿真环境中将刚体与软体动力学集成的好处与挑战是什么？
• RQ3 不同控制器和动作空间表示如何影响操控任务中的学习、探索和 sim2real 迁移？
• RQ4 大规模演示能否在不同控制器之间有效转换，以便在模仿学习和强化学习中进行广泛分析？
• RQ5 快速视觉强化学习流程（异步渲染和渲染服务器）对样本吞吐量和内存使用的性能影响是什么？

主要发现

• ManiSkill2 在统一接口中支持 20 个任务族，包含 2000+ 个对象和 4M+ 演示帧。
• 它通过异步渲染和渲染服务器实现高吞吐的视觉强化学习，在某些设置下实现 2000+ FPS。
• 它引入与刚体仿真器双向耦合的实时软体仿真，能够与机器人及资产进行交互。
• 行为克隆在刚体任务上表现欠佳，但演示增强RL（DAPG+PPO）在一些刚体任务上显示出改进；高精度装配任务仍具有挑战性。
• 在 ManiSkill2 训练的视觉强化学习策略显示出部分 sim2real 转移潜力，真实世界 PickCube 在经过 1,000 万时间步的仿真训练后成功率达到 60%。
• 多控制器转换系统至关重要；切换控制器类型会显著影响诸如 PickSingleYCB 等任务的成功率。

Figure 2: Two pipelines for visual RL sample collection. (a) Sequential pipeline. (b) Our pipeline with asynchronous rendering and render server improves CPU utilization, reduces data transfer, and saves memory.