[论文解读] Deep Robotic Prediction with hierarchical RGB-D Fusion

Yaoxian Song, Jun Wen+2 more|arXiv (Cornell University)|Sep 14, 2019

Robot Manipulation and Learning参考文献 34被引用 4

一句话总结

本文提出一种分层RGB-D融合网络UG-Net V3，仅使用眼动相机的局部观测，在非结构化3D环境中实现实时机器人抓取。通过量化深度不确定性并在多尺度上融合RGB与深度特征，该方法在不依赖ICP或3D重建的情况下实现了超过90%的抓取成功率，在桌面和3D场景中均优于当前最先进方法。

ABSTRACT

Robotic arm grasping is a fundamental operation in robotic control task goals. Most current methods for robotic grasping focus on RGB-D policy in the table surface scenario or 3D point cloud analysis and inference in the 3D space. Comparing to these methods, we propose a novel real-time multimodal hierarchical encoder-decoder neural network that fuses RGB and depth data to realize robotic humanoid grasping in 3D space with only partial observation. The quantification of raw depth data's uncertainty and depth estimation fusing RGB is considered. We develop a general labeling method to label ground-truth on common RGB-D datasets. We evaluate the effectiveness and performance of our method on a physical robot setup and our method achieves over 90\% success rate in both table surface and 3D space scenarios.

研究动机与目标

• 在仅使用眼动相机系统提供的局部观测条件下，实现非结构化3D环境中鲁棒的机器人抓取。
• 通过融合多模态数据，缓解单模态方法（仅RGB或仅深度）的局限性，降低噪声与不确定性。
• 开发一种新颖的端到端深度学习框架，避免ICP或3D重建等耗时步骤。
• 提出一种通用的标注方法，用于训练抓取网络，无需人工标注的真实标签，而是利用现有带有掩码的RGB-D数据集。
• 通过量化原始深度数据中的不确定性并利用RGB-D融合重建深度，提升抓取的可靠性。

提出的方法

• 提出一种分层编码器-解码器神经网络UG-Net V3，通过在多尺度上融合RGB与深度特征，实现鲁棒的抓取预测。
• 引入置信度网络，量化原始深度图像中的不确定性，并利用RGB特征重建缺失的深度值。
• 采用一种新颖的8D抓取表示，结合6D物体位姿（x,y,z,γx,βy,αz）、夹爪方向与开合宽度。
• 使用背景提取模块，减少深度图像中复杂背景的干扰。
• 应用表面法向估计，尽可能使夹爪方向与目标物体表面法向对齐。
• 采用实时推理流水线，将像素空间中的预测抓取点转换为3D位姿与夹爪控制指令。

实验结果

研究问题

• RQ1 在局部观测的3D环境中，RGB与深度特征的分层融合能否提升机器人抓取性能？
• RQ2 对原始深度数据中不确定性的量化，如何影响抓取策略的鲁棒性？
• RQ3 RGB-D融合是否能够消除对ICP或3D重建的依赖，同时保持高抓取成功率？
• RQ4 观测视角（俯仰角）在局部观测场景下对抓取性能有何影响？
• RQ5 能否开发一种通用的标注方法，利用现有带有物体掩码的RGB-D数据集训练抓取网络？

主要发现

• 所提方法在标准测试集上达到95% ± 1%的成功率，在桌面和3D场景中均超过90%。
• 消融实验表明，结合置信度网络与背景提取模块后，测试集上的成功率从79%提升至95%。
• 在成功率与鲁棒性方面，优于GQ-CNN（80%成功率）与GG-CNN（84% ± 8%）。
• 平均推理时间仅为32ms，显著快于GQ-CNN的800ms，适用于实时部署。
• 模型大小为19.6MB，远小于GQ-CNN的75MB，更适用于资源受限系统。
• 在house测试集上，方法实现了97% ± 1%的鲁棒抓取率（RGR），表明在多样化条件下具有高度可靠性。