[论文解读] RGB Matters: Learning 7-DoF Grasp Poses on Monocular RGBD Images

Minghao Gou, Hao-Shu Fang+4 more|arXiv (Cornell University)|Mar 3, 2021

Robot Manipulation and Learning参考文献 39被引用 6

一句话总结

本文提出RGBD-Grasp，一种两阶段深度学习流水线，将7-DoF抓取位姿估计解耦为基于RGB的方位预测（通过Angle-View Net）以及基于深度的解析搜索以确定夹爪宽度和距离。该方法在GraspNet-1Billion数据集上达到最先进性能，在单物体场景下的真实机器人实验中成功率达到91.7%，在杂乱场景中为91.1%，展现出对深度噪声的鲁棒性以及对新物体的良好泛化能力。

ABSTRACT

General object grasping is an important yet unsolved problem in the field of robotics. Most of the current methods either generate grasp poses with few DoF that fail to cover most of the success grasps, or only take the unstable depth image or point cloud as input which may lead to poor results in some cases. In this paper, we propose RGBD-Grasp, a pipeline that solves this problem by decoupling 7-DoF grasp detection into two sub-tasks where RGB and depth information are processed separately. In the first stage, an encoder-decoder like convolutional neural network Angle-View Net(AVN) is proposed to predict the SO(3) orientation of the gripper at every location of the image. Consequently, a Fast Analytic Searching(FAS) module calculates the opening width and the distance of the gripper to the grasp point. By decoupling the grasp detection problem and introducing the stable RGB modality, our pipeline alleviates the requirement for the high-quality depth image and is robust to depth sensor noise. We achieve state-of-the-art results on GraspNet-1Billion dataset compared with several baselines. Real robot experiments on a UR5 robot with an Intel Realsense camera and a Robotiq two-finger gripper show high success rates for both single object scenes and cluttered scenes. Our code and trained model will be made publicly available.

研究动机与目标

• 解决2D平面抓取方法和依赖深度数据的6-DoF方法在泛化到新物体时的局限性。
• 通过结合稳定RGB模态与深度信息，提升抓取位姿估计的鲁棒性，降低对深度传感器噪声的敏感性。
• 利用单目RGBD输入实现实时、高自由度（7-DoF）抓取检测，支持已见与新物体。
• 在单物体与杂乱真实世界抓取场景中均实现高成功率。

提出的方法

• Angle-View Net（AVN）是一种类似U-Net的编码器-解码器CNN，处理RGB图像以像素级热图形式预测SO(3)抓取方位。
• 快速解析搜索（FAS）模块利用AVN热图与深度图像，通过碰撞检测与空抓检测计算夹爪张开宽度和抓取点距离。
• 该方法将7-DoF抓取检测解耦为仅基于RGB的方位预测与结合RGB与深度的几何参数估计，实现高效且鲁棒的推理。
• 流水线在GraspNet-1Billion数据集上进行训练，运行速度达10.5 FPS，满足实时性要求。
• 采用跨相机评估协议，测试在不同深度传感器（Kinect与RealSense）之间的泛化性能。

实验结果

研究问题

• RQ1 单目RGBD输入能否实现对新物体具有良好泛化能力的鲁棒7-DoF抓取位姿预测？
• RQ2 将方位预测与几何参数估计解耦是否能提升对深度传感器噪声的鲁棒性？
• RQ3 两阶段流水线能否实现实时推理，同时在7-DoF抓取检测上超越端到端方法？
• RQ4 与先前最先进方法相比，该方法在复杂杂乱环境中的表现如何？

主要发现

• RGBD-Grasp在GraspNet-1Billion上达到最先进AP分数，使用Kinect时，对已见、相似和新物体的AP分别提升2.20、2.56和1.57；使用RealSense时，分别提升0.42、1.12和1.70。
• 该方法在域偏移下仍保持高性能，当在不同深度相机（如RealSense与Kinect）上评估时仅出现轻微性能下降，而依赖深度质量的方法则表现较差。
• 在真实机器人实验中，RGBD-Grasp在单物体场景中实现91.7%的成功率，在杂乱场景中为91.1%，使用UR5机械臂与Robotiq夹爪。
• 流水线运行速度达10.5 FPS，证实其适用于实时机器人操作任务。
• 该方法对新物体泛化良好，在真实世界中对未见过物体的成功率可达85–90%。