[论文解读] Dex-Net 3.0: Computing Robust Robot Vacuum Suction Grasp Targets in Point Clouds using a New Analytic Model and Deep Learning

Jeffrey Mahler, Matthew Matl+4 more|arXiv (Cornell University)|Sep 19, 2017

Robot Manipulation and LearningEngineering被引用 18

一句话总结

本文提出 Dex-Net 3.0，一种深度学习框架，采用新颖的柔性吸盘接触模型，用于在三维点云中预测鲁棒的真空吸附抓取目标。通过建模在姿态、材料和扰动扰动下的密封形成与抗力矩能力，该方法在物理机器人实验中对基础物体实现了 98% 的成功率，对普通物体实现 82%，对对抗性物体实现 58%，所用 GQ-CNN 模型基于 280 万个合成抓取数据进行训练。

ABSTRACT

Vacuum-based end effectors are widely used in industry and are often preferred over parallel-jaw and multifinger grippers due to their ability to lift objects with a single point of contact. Suction grasp planners often target planar surfaces on point clouds near the estimated centroid of an object. In this paper, we propose a compliant suction contact model that computes the quality of the seal between the suction cup and local target surface and a measure of the ability of the suction grasp to resist an external gravity wrench. To characterize grasps, we estimate robustness to perturbations in end-effector and object pose, material properties, and external wrenches. We analyze grasps across 1,500 3D object models to generate Dex-Net 3.0, a dataset of 2.8 million point clouds, suction grasps, and grasp robustness labels. We use Dex-Net 3.0 to train a Grasp Quality Convolutional Neural Network (GQ-CNN) to classify robust suction targets in point clouds containing a single object. We evaluate the resulting system in 350 physical trials on an ABB YuMi fitted with a pneumatic suction gripper. When evaluated on novel objects that we categorize as Basic (prismatic or cylindrical), Typical (more complex geometry), and Adversarial (with few available suction-grasp points) Dex-Net 3.0 achieves success rates of 98$\%$, 82$\%$, and 58$\%$ respectively, improving to 81$\%$ in the latter case when the training set includes only adversarial objects. Code, datasets, and supplemental material can be found at http://berkeleyautomation.github.io/dex-net .

研究动机与目标

• 解决工业机器人在复杂非平面物体上缺乏鲁棒吸附抓取规划的问题。
• 开发一种基于物理的模型，用于评估在不确定性条件下的密封形成可行性与抗外部力矩能力。
• 构建大规模合成数据集，包含 280 万个点云，附带抓取鲁棒性标签，用于训练。
• 训练 GQ-CNN 模型，用于在真实点云中分类高质量的吸附抓取目标。
• 在物理机器人系统上对多种物体类别（包括对抗性几何形状）进行方法验证。

提出的方法

• 采用具有周长、弯曲和圆锥弹簧的准静态弹簧模型，模拟吸盘变形，并在候选抓取点测试密封可行性。
• 通过基于吸盘与物体表面接触环的接触力矩基底，计算抗力矩能力。
• 通过蒙特卡洛采样对物体姿态、夹爪姿态、摩擦系数和外部力矩（如重力）的扰动进行鲁棒性评估。
• 将抓取成功概率建模为伯努利分布，基于在扰动状态下是否能抵抗随机采样的干扰力矩。
• 使用基于阈值化鲁棒性评分的二元标签，在合成深度图像上训练 GQ-CNN，其中抓取缩略图以预测目标为中心。
• 系统采用离屏渲染结合噪声模型生成深度图像，并通过概率采样处理姿态与力矩不确定性。

实验结果

研究问题

• RQ1 基于物理的柔性接触模型能否准确预测吸盘在非平面表面上形成密封的能力？
• RQ2 在姿态、摩擦和外部力等现实不确定性下，如何量化抗力矩的鲁棒性？
• RQ3 在合成数据上训练的深度学习模型能否泛化到多样化物体几何形状的真实世界吸附抓取？
• RQ4 启发式方法与学习得到的鲁棒抓取策略在新型、复杂及对抗性物体上的性能差距如何？
• RQ5 在训练中包含对抗性物体数据是否能提升对复杂几何形状的泛化能力？

主要发现

• 所提出的柔性吸盘接触模型成功预测了非平面表面上的密封形成可行性，使鲁棒抓取规划突破了简单平面启发式方法的限制。
• 在物理实验中，该系统对基础物体（棱柱形或圆柱形）的成功率达到 98%，显著优于启发式方法。
• 在具有复杂几何形状的普通物体上，该方法实现了 82% 的成功率，展现出对简单形状之外的强大泛化能力。
• 在仅有少量可行吸附点的对抗性物体上，成功率为 58%，当训练集仅包含对抗性物体时，成功率提升至 81%。
• 在 Dex-Net 3.0 上训练的 GQ-CNN 能够良好泛化到新物体，并优于针对质心或平面表面的目标的基线启发式方法。
• 包含 280 万个点云及鲁棒性标签的合成数据集，有效支持了真实世界机器人吸附抓取的迁移学习。