[论文解读] Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Approach

D.R.O. Morrison, Peter Corke+1 more|arXiv (Cornell University)|Apr 14, 2018

Robot Manipulation and Learning被引用 6

一句话总结

该论文提出了一种基于轻量级生成抓取卷积神经网络（GG-CNN）的实时、生成式抓取合成方法，可对深度图像中每个像素预测抓取质量、角度和宽度，从而实现在高达50Hz下的闭环抓取。该方法在对抗性3D打印物体上达到83%的成功率，在家用物品上达到88%，在动态杂乱环境中达到81%，在控制误差下优于开环方法。

ABSTRACT

This paper presents a real-time, object-independent grasp synthesis method which can be used for closed-loop grasping. Our proposed Generative Grasping Convolutional Neural Network (GG-CNN) predicts the quality and pose of grasps at every pixel. This one-to-one mapping from a depth image overcomes limitations of current deep-learning grasping techniques by avoiding discrete sampling of grasp candidates and long computation times. Additionally, our GG-CNN is orders of magnitude smaller while detecting stable grasps with equivalent performance to current state-of-the-art techniques. The light-weight and single-pass generative nature of our GG-CNN allows for closed-loop control at up to 50Hz, enabling accurate grasping in non-static environments where objects move and in the presence of robot control inaccuracies. In our real-world tests, we achieve an 83% grasp success rate on a set of previously unseen objects with adversarial geometry and 88% on a set of household objects that are moved during the grasp attempt. We also achieve 81% accuracy when grasping in dynamic clutter.

研究动机与目标

• 在物体移动且机器人控制不准确的动态环境中，实现实时、闭环的机器人抓取。
• 克服现有深度学习抓取合成方法依赖于缓慢的、离散的抓取候选采样的局限性。
• 开发一种轻量级、与物体无关的抓取合成模型，以实现高速（50Hz）运行，适用于实际部署。
• 提高系统在真实机器人操作中对感知噪声、控制误差和动态杂乱环境的鲁棒性。
• 通过使用标准化物体集并定义清晰的实验协议，促进方法的可复现性。

提出的方法

• GG-CNN直接回归深度图像中每个像素的抓取质量、角度和夹爪宽度，避免了候选采样步骤。
• 该网络为全卷积结构，采用单次推理模式进行训练，可在GPU上实现仅19ms的推理时间。
• 抓取姿态被参数化为对称抓取并附带质量评分，从而实现从深度输入到机器人指令的端到端直接控制。
• 采用闭环控制系统，利用实时深度反馈持续更新抓取预测，纠正运动和控制误差。
• 系统使用速度指令环路，每20ms（即50Hz）重新评估一次抓取，实现动态适应。
• 通过在笛卡尔速度中引入互相关噪声来模拟控制误差，以测试系统的鲁棒性。

实验结果

研究问题

• RQ1 基于深度学习的抓取合成系统能否在动态环境中实现50Hz的实时性能（闭环抓取）？
• RQ2 直接的、逐像素的抓取生成方法是否在速度和鲁棒性上优于基于采样的方法？
• RQ3 在物体动态运动和机器人控制不准确的情况下，系统表现如何？
• RQ4 该方法能否泛化到具有复杂几何形状的未见过的、对抗性的和家用物体？
• RQ5 与先前工作相比，该系统在动态杂乱环境中的表现如何？

主要发现

• 当在抓取过程中移动时，GG-CNN在8个对抗性3D打印物体上实现了83%的抓取成功率，优于先前方法。
• 在标准基准数据集中的12种家用物品上，系统在动态条件下实现了88%的成功率。
• 在动态杂乱环境中，该方法实现了81%的抓取成功率，优于该场景下的先前最先进水平。
• 在严重控制误差下（σ = 0.15），闭环方法仍保持68%和73%的成功率，而开环方法下降至38%。
• GG-CNN在GPU上每轮推理仅耗时19ms，支持50Hz控制，且参数量相比同类网络低几个数量级。
• 系统对感知和控制噪声具有鲁棒性，性能下降主要受相机更新范围（距物体70mm以内）限制，而非网络本身。