[论文解读] ManiSkill: Generalizable Manipulation Skill Benchmark with Large-Scale Demonstrations

Tongzhou Mu, Zhan Ling+7 more|arXiv (Cornell University)|Jul 30, 2021

3D Shape Modeling and Analysis参考文献 89被引用 27

一句话总结

ManiSkill 引入了一个大规模、开源的基准，用于在多样化的具关节对象上实现可泛化的3D视觉驱动操控技能，在完整物理仿真器中包含 36k 次演示和四个任务。

ABSTRACT

Object manipulation from 3D visual inputs poses many challenges on building generalizable perception and policy models. However, 3D assets in existing benchmarks mostly lack the diversity of 3D shapes that align with real-world intra-class complexity in topology and geometry. Here we propose SAPIEN Manipulation Skill Benchmark (ManiSkill) to benchmark manipulation skills over diverse objects in a full-physics simulator. 3D assets in ManiSkill include large intra-class topological and geometric variations. Tasks are carefully chosen to cover distinct types of manipulation challenges. Latest progress in 3D vision also makes us believe that we should customize the benchmark so that the challenge is inviting to researchers working on 3D deep learning. To this end, we simulate a moving panoramic camera that returns ego-centric point clouds or RGB-D images. In addition, we would like ManiSkill to serve a broad set of researchers interested in manipulation research. Besides supporting the learning of policies from interactions, we also support learning-from-demonstrations (LfD) methods, by providing a large number of high-quality demonstrations (~36,000 successful trajectories, ~1.5M point cloud/RGB-D frames in total). We provide baselines using 3D deep learning and LfD algorithms. All code of our benchmark (simulator, environment, SDK, and baselines) is open-sourced, and a challenge facing interdisciplinary researchers will be held based on the benchmark.

研究动机与目标

• 激励并使能在来自3D视觉输入的操作中评估对象级泛化能力。
• 提供具有丰富拓扑/几何变异的多样化具关节对象，以测试同类内泛化。
• 提供多种任务类型，涵盖不同的操控挑战（转动关节、滑移、平面运动和无约束运动）。
• 通过大量成功轨迹数据集来支持学习演示（LfD），以促进 BC/离线 RL 基线。
• 通过提供一个开放的、多轨道的基准（视觉、强化学习、机器人学）并具可扩展的数据收集，促进跨学科研究。

提出的方法

• 设计 ManiSkill，包含四个操控任务：OpenCabinetDoor、OpenCabinetDrawer、PushChair、MoveBucket，每个任务使用不同的具关节对象。
• 使用来自机器人安装摄像头的自我中心全景3D观测（点云、RGB-D）以实现3D感知。
• 通过基于强化学习的、可扩展流水线，以共享奖励模板和MPC辅助验证，收集 ~36,000 次成功演示（约1.5M个点云/RGB-D帧）。
• 提供基线3D深度学习策略（PointNet；PointNet + Transformer）和学习演示方法（模仿学习 BC；离线 RL BCQ、TD3+BC）。
• 在每个任务内对训练/测试对象进行划分，以在多轨道下评估对象级泛化能力（No Interactions、No External Annotations、No Restrictions）。
• 使用 PartNet-Mobility 资源，进行人工后处理（凸分解、伪影去除）和验证，以确保环境可解。

实验结果

研究问题

• RQ1 策略是否能够在来自3D视觉输入的情况下，跨越多样的同类内部对象变异，学习对象级可泛化的操控技能？
• RQ2 在对多样对象集合进行训练时，3D深度学习架构（PointNet, Transformer）和LfD方法在对象级泛化下的表现如何？
• RQ3 观测模态（点云 vs RGB-D）对 ManiSkill 的泛化性能有何影响？
• RQ4 当演示全部为成功时，离线 RL 方法是否优于行为克隆，且在何种条件下？
• RQ5 不同的任务运动（转动、滑动、平面、无约束）如何对策略学习和泛化造成挑战？

主要发现

• 拓扑/几何的同类内部大范围变异支持对象级泛化能力的评估。
• 即使有演示，整体泛化性能仍然具有挑战性；在不同任务中训练/测试性能存在差距。
• PointNet + Transformer 搭配 BC 在所测试的基线中提供了最佳的对象级泛化，但平均测试成功率仍然适中。
• 离线 RL 方法（BCQ、TD3+BC）在提供的演示上并未始终优于 BC，凸显数据和任务的复杂性。
• 演示数量会提升性能；更多轨迹带来更高的成功率，但在未见对象上的泛化仍然具有挑战性。
• 三维输入策略（带分割掩码的点云）再加上机器人状态串联是感知与策略学习的重要设计选择。