[论文解读] Learning 6-DOF Grasping Interaction via Deep Geometry-aware 3D Representations

Xinchen Yan, Jasmine Hsu+6 more|arXiv (Cornell University)|Aug 24, 2017

Robot Manipulation and Learning参考文献 37被引用 8

一句话总结

本文提出了一种深度几何感知抓取网络（DGGN），通过首先利用生成式3D形状模型从RGBD输入重建3D场景几何，然后利用所得的几何感知表征来预测抓取结果，从而实现从RGBD输入端到端学习6-DOF抓取。该方法相比CNN基线模型实现了10%的相对性能提升，并支持通过合成分析的抓取规划，对新视角和新物体具有更好的泛化能力。

ABSTRACT

This paper focuses on the problem of learning 6-DOF grasping with a parallel jaw gripper in simulation. We propose the notion of a geometry-aware representation in grasping based on the assumption that knowledge of 3D geometry is at the heart of interaction. Our key idea is constraining and regularizing grasping interaction learning through 3D geometry prediction. Specifically, we formulate the learning of deep geometry-aware grasping model in two steps: First, we learn to build mental geometry-aware representation by reconstructing the scene (i.e., 3D occupancy grid) from RGBD input via generative 3D shape modeling. Second, we learn to predict grasping outcome with its internal geometry-aware representation. The learned outcome prediction model is used to sequentially propose grasping solutions via analysis-by-synthesis optimization. Our contributions are fourfold: (1) To best of our knowledge, we are presenting for the first time a method to learn a 6-DOF grasping net from RGBD input; (2) We build a grasping dataset from demonstrations in virtual reality with rich sensory and interaction annotations. This dataset includes 101 everyday objects spread across 7 categories, additionally, we propose a data augmentation strategy for effective learning; (3) We demonstrate that the learned geometry-aware representation leads to about 10 percent relative performance improvement over the baseline CNN on grasping objects from our dataset. (4) We further demonstrate that the model generalizes to novel viewpoints and object instances.

研究动机与目标

• 从RGBD输入中端到端学习使用平行颚式夹爪的6-DOF抓取，这是此前端到端深度学习中尚未解决的挑战。
• 通过将场景重建作为辅助任务，显式引入3D几何感知，以提升抓取结果预测性能。
• 通过利用学习到的几何感知表征，实现基于分析-合成优化的鲁棒抓取规划。
• 构建一个大规模、丰富标注的抓取数据集，包含虚拟现实示范和合成数据增强。
• 展示模型在训练分布之外的新物体实例和新视角下的泛化能力。

提出的方法

• 该方法采用两阶段深度神经网络：首先，通过图像编码器和体素解码器，利用RGBD输入的形状生成网络重建3D占据网格。
• 形状生成网络生成的几何感知表征编码了物体形状、位置和朝向信息。
• 一个无学习的物理投影层从几何感知表征中“幻觉”生成夹爪中心视角的局部物体表面视图。
• 抓取结果预测网络接收夹爪姿态、视觉状态和几何感知表征，以预测抓取成功或失败。
• 通过使用交叉熵方法（CEM）迭代优化夹爪姿态，该模型支持基于结果预测器引导的分析-合成抓取规划。
• 通过在PyBullet中对人类示范进行姿态空间中的随机高斯噪声扰动，生成合成数据，同时保留成功/失败结果。

实验结果

研究问题

• RQ1 深度神经网络能否在无显式3D监督的情况下，直接从RGBD输入学习6-DOF抓取？
• RQ2 将3D几何重建作为辅助任务，是否能相比标准CNN提升抓取结果预测性能？
• RQ3 几何感知表征是否能增强基于分析-合成优化的抓取规划性能？
• RQ4 该模型在未见的物体实例和视角下泛化能力有多强？
• RQ5 在人类示范数据有限的情况下，合成数据增强在提升泛化能力方面的有效性如何？

主要发现

• 所提出的深度几何感知抓取网络在抓取结果预测上相比标准CNN基线实现了10%的相对性能提升。
• 该模型能有效泛化到新物体实例和新视角，表现出超越训练分布的鲁棒性。
• 基于几何感知模型引导的分析-合成抓取规划，其成功率高于CNN基线，尤其在具有明显几何结构的物体（如瓶子）上表现更优。
• 该方法成功实现了从RGBD输入端到端学习6-DOF抓取，是该任务的首个端到端学习框架。
• 通过PyBullet进行的合成数据增强显著扩展了训练数据，使得仅基于15万条由人类示范生成的合成抓取数据即可实现有效学习。
• 无学习的物理投影层能够高效且准确地从夹爪视角“幻觉”生成局部物体几何，支持鲁棒的规划。