[论文解读] Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics

Jeffrey Mahler, Jacky Liang+6 more|arXiv (Cornell University)|Mar 27, 2017

Robot Manipulation and Learning参考文献 2被引用 276

一句话总结

Dex-Net 2.0 在 6.7 million 张合成深度图像和分析抓取指标上训练 Grasp Quality CNN，以快速预测稳健抓取，从而在真实机器人上实现快速、高精度的机器人抓取。

ABSTRACT

To reduce data collection time for deep learning of robust robotic grasp plans, we explore training from a synthetic dataset of 6.7 million point clouds, grasps, and analytic grasp metrics generated from thousands of 3D models from Dex-Net 1.0 in randomized poses on a table. We use the resulting dataset, Dex-Net 2.0, to train a Grasp Quality Convolutional Neural Network (GQ-CNN) model that rapidly predicts the probability of success of grasps from depth images, where grasps are specified as the planar position, angle, and depth of a gripper relative to an RGB-D sensor. Experiments with over 1,000 trials on an ABB YuMi comparing grasp planning methods on singulated objects suggest that a GQ-CNN trained with only synthetic data from Dex-Net 2.0 can be used to plan grasps in 0.8sec with a success rate of 93% on eight known objects with adversarial geometry and is 3x faster than registering point clouds to a precomputed dataset of objects and indexing grasps. The Dex-Net 2.0 grasp planner also has the highest success rate on a dataset of 10 novel rigid objects and achieves 99% precision (one false positive out of 69 grasps classified as robust) on a dataset of 40 novel household objects, some of which are articulated or deformable. Code, datasets, videos, and supplementary material are available at http://berkeleyautomation.github.io/dex-net .

研究动机与目标

• 在传感与执行不确定性下激发稳健抓取规划。
• 通过使用合成数据来训练抓取鲁棒性模型来减少数据收集时间。
• 直接从深度图像预测抓取成功率，而不是依赖显式的物体模型。
• 利用分析抓取度量来标注合成数据，以进行稳健抓取规划。
• 在真实机器人实验和新物体上评估训练好的规划器。

提出的方法

• 通过将1,500个3D物体模型与对偶点的平行夹爪抓取和稳健分析度量结合，生成6.7百万点云数据集 Dex-Net 2.0。
• 训练 Grasp Quality Convolutional Neural Network (GQ-CNN) 以从深度图像输入估计抓取鲁棒性 Q(u,y)。
• 将抓取表示为相对于相机的平面姿态和深度，并将深度图像对齐到抓取中心/方向以简化学习。
• 使用对象姿态、夹具姿态和摩擦的蒙特卡洛采样来计算每个候选抓取的稳健 epsilon 质量 E_Q。
• 通过抽样对偶候选抓取、按预测鲁棒性排序并执行最高可行的抓取来规划抓取。
• 在真实机器人试验中评估性能，并与基于图像的度量、随机森林、SVM 和基于配准的方法进行比较。

实验结果

研究问题

• RQ1 仅使用合成数据训练的CNN是否能够从深度图像预测稳健抓取？
• RQ2 在已知物体和新物体上，基于合成数据训练的抓取规划器与感知+配准基线相比如何？
• RQ3 训练数据量和噪声建模对子抓取鲁棒性分类与规划性能的影响是什么？
• RQ4 在真实机器人上，是否可能用一个快速的基于深度图像的抓取规划器实现高成功率和高精度？

主要发现

• Dex-Net 2.0 规划在对抗几何的八个已知物体上实现了0.8秒的规划时间和93%的成功率。
• Dex-Net 2.0 规划大约比匹配到预先计算数据库的基于配准的方法快约3倍。
• 在包含10个新颖刚性物体的数据集上，Dex-Net 2.0 规划器获得了评估方法中最高的成功率。
• 在包含40个新颖家庭物体的数据集上，规划器实现了99%的精度（69次鲁棒分类中只有1次误报）。
• 仅在合成数据上训练的 GQ-CNN 对新物体的泛化优于在所报告实验中的若干基线方法（IGQ、REG、ML-RF、ML-SVM）。