[论文解读] Deep Learning for Detecting Robotic Grasps

Ian Lenz, Honglak Lee+1 more|arXiv (Cornell University)|Jan 16, 2013

Robot Manipulation and Learning被引用 6

一句话总结

本文提出一种用于在RGB-D场景中检测机器人抓取的两阶段深度学习系统，通过多模态组正则化有效融合颜色、深度和法向量数据。该方法在真实机器人上实现了84–89%的成功率，达到当前最优性能，通过端到端学习判别性特征，在保持计算效率的同时优于手工设计特征和先前的深度学习方法，得益于级联推理结构。

ABSTRACT

We consider the problem of detecting robotic grasps in an RGB-D view of a scene containing objects. In this work, we apply a deep learning approach to solve this problem, which avoids time-consuming hand-design of features. This presents two main challenges. First, we need to evaluate a huge number of candidate grasps. In order to make detection fast, as well as robust, we present a two-step cascaded structure with two deep networks, where the top detections from the first are re-evaluated by the second. The first network has fewer features, is faster to run, and can effectively prune out unlikely candidate grasps. The second, with more features, is slower but has to run only on the top few detections. Second, we need to handle multimodal inputs well, for which we present a method to apply structured regularization on the weights based on multimodal group regularization. We demonstrate that our method outperforms the previous state-of-the-art methods in robotic grasp detection, and can be used to successfully execute grasps on two different robotic platforms.

研究动机与目标

• 为解决在不依赖手工设计特征的前提下，RGB-D场景中机器人抓取检测的挑战。
• 通过利用深度学习实现端到端特征学习，提升抓取检测的性能与效率。
• 提出一种新颖的方法，通过在网络权重上施加结构化正则化，整合多模态输入（RGB、深度、法向量）。
• 通过级联的两阶段系统，提前剔除低置信度候选，降低计算成本。
• 在真实机器人平台上验证该方法，证明其对未见物体具有良好的泛化能力。

提出的方法

• 一种两阶段级联深度学习系统：第一阶段网络使用较少特征实现快速近似检测；第二阶段网络使用更多特征对高分候选进行精细化处理。
• 在第一层权重上应用多模态组正则化，以鼓励特征仅使用相关输入模态（RGB、深度、法向量），避免强制使用全部或独立的模态专用特征。
• 系统在大规模RGB-D抓取检测数据集上进行端到端训练，直接从标注的抓取矩形框学习特征。
• 候选抓取以RGB-D图像中的2D边界框形式生成，网络为每个边界框预测抓取质量分数。
• 最终抓取位姿基于得分最高的矩形框选定，夹爪方向与物体表面法向对齐。
• 该方法部署于Baxter和PR2机器人上，利用启发式视觉伺服系统引导夹爪到达检测到的抓取位置。

实验结果

研究问题

• RQ1 深度学习能否有效应用于机器人抓取检测问题，超越传统手工设计特征？
• RQ2 如何在深度学习框架中有效整合多模态RGB-D数据（颜色、深度、法向量）用于抓取检测？
• RQ3 级联的两阶段深度学习系统能否在保持或提升检测精度的同时降低计算成本？
• RQ4 对多模态权重施加结构化正则化是否能带来更好的特征学习并提升抓取检测性能？
• RQ5 该系统能否泛化到真实世界机器人平台，并在多样化的未见物体上实现高成功率？

主要发现

• 所提出的两阶段深度学习系统在PR2机器人上实现89%的抓取成功率，在Baxter机器人上实现84%的抓取成功率，适用于多样化的未见物体。
• 该方法在相同RGB-D抓取检测基准上优于当前最优的手工设计特征和先前的深度学习方法。
• 多模态组正则化显著提升了特征学习效果，使每个特征仅使用相关模态，其检测性能优于共享或独立模态学习方式。
• 级联系统相比单阶段系统将计算成本降低了高达90%，同时保持或提升了精度。
• 该系统对未见物体具有良好的泛化能力，证明了所学习特征的鲁棒性与可迁移性。
• 该方法成功实现在两种不同机器人平台上的实时抓取执行，验证了其在闭环控制中的实用性与鲁棒性。