[论文解读] Dex-Net 3.0: Computing Robust Robot Suction Grasp Targets in Point Clouds using a New Analytic Model and Deep Learning

Jeffrey Mahler, Matthew Matl+4 more|arXiv (Cornell University)|Sep 19, 2017

Robot Manipulation and Learning参考文献 27被引用 53

一句话总结

该论文提出了 Dex-Net 3.0，一个包含 280 万个点云及其标记的吸盘抓取鲁棒性标签的数据集，以及一种结合新分析模型与 GQ-CNN 的新型分析方法，用于预测高质量吸盘抓取。在物理实验中，该系统在基础物体上的成功率达到 98%，在典型物体上为 82%，在对抗性物体上为 58%，当仅使用对抗性物体数据进行训练时，成功率提升至 81%。

ABSTRACT

Vacuum-based end effectors are widely used in industry and are often preferred over parallel-jaw and multifinger grippers due to their ability to lift objects with a single point of contact. Suction grasp planners often target planar surfaces on point clouds near the estimated centroid of an object. In this paper, we propose a compliant suction contact model that computes the quality of the seal between the suction cup and local target surface and a measure of the ability of the suction grasp to resist an external gravity wrench. To characterize grasps, we estimate robustness to perturbations in end-effector and object pose, material properties, and external wrenches. We analyze grasps across 1,500 3D object models to generate Dex-Net 3.0, a dataset of 2.8 million point clouds, suction grasps, and grasp robustness labels. We use Dex-Net 3.0 to train a Grasp Quality Convolutional Neural Network (GQ-CNN) to classify robust suction targets in point clouds containing a single object. We evaluate the resulting system in 350 physical trials on an ABB YuMi fitted with a pneumatic suction gripper. When evaluated on novel objects that we categorize as Basic (prismatic or cylindrical), Typical (more complex geometry), and Adversarial (with few available suction-grasp points) Dex-Net 3.0 achieves success rates of 98$\%$, 82$\%$, and 58$\%$ respectively, improving to 81$\%$ in the latter case when the training set includes only adversarial objects. Code, datasets, and supplemental material can be found at this http URL .

研究动机与目标

• 开发一种在 3D 点云中预测吸盘抓取质量的鲁棒方法，用于机器人操作。
• 解决在各类物体形状（尤其是具有较少平面或可及表面的物体）上识别可靠吸盘抓取目标的挑战。
• 构建一个大规模、高质量的 280 万组点云数据集，包含抓取鲁棒性标签，用于训练与评估。
• 通过专用训练策略与改进的抓取质量预测模型，提升在复杂与对抗性物体上的泛化能力。

提出的方法

• 引入一种柔顺吸盘接触模型，基于局部表面几何形状与吸盘变形，估算密封质量及对外部力矩的抵抗能力。
• 该模型量化了在末端执行器位姿、物体位姿、材料属性及外部力扰动下的抓取鲁棒性。
• 在 Dex-Net 3.0 数据集上训练了抓取质量卷积神经网络（GQ-CNN），直接从单个物体点云中分类出鲁棒的吸盘抓取目标。
• Dex-Net 3.0 数据集由 1,500 个 3D 物体模型构建，通过仿真生成合成点云与抓取鲁棒性标签。
• 利用分析模型模拟接触力学与力矩抵抗能力，计算抓取鲁棒性指标。
• 系统在 ABB YuMi 机器人上，使用气动吸盘夹具，针对三类物体完成了 350 次真实世界实验。

实验结果

研究问题

• RQ1 基于物理的模型在点云中如何提升吸盘抓取质量的预测性能？
• RQ2 训练数据构成对模型在挑战性物体类别上泛化能力的影响是什么？
• RQ3 所提出的 GQ-CNN 在真实世界中对新型、复杂及对抗性物体几何形状的表现如何？
• RQ4 分析建模与深度学习联合使用，能在多大程度上提升抓取鲁棒性预测能力？
• RQ5 在平面或可及表面有限的物体上，可实现多高的成功率？

主要发现

• 该系统在物理实验中对基础物体（棱柱形或圆柱形）的成功率达到 98%。
• 在具有更复杂几何形状的典型物体上，成功率下降至 82%，表明在中等挑战性形状上仍表现强劲。
• 在对抗性物体（仅有少量有效吸盘抓取点）上，成功率为 58%，当仅使用对抗性物体数据进行训练时，成功率提升至 81%。
• 仅使用对抗性物体进行微调后性能的提升表明，数据构成对复杂情况下的泛化能力具有显著影响。
• 新型分析抓取模型与 GQ-CNN 的结合，使系统在各类物体类别上均实现了高精度的抓取预测。