[论文解读] ClearGrasp: 3D Shape Estimation of Transparent Objects for Manipulation

Shreeyak S. Sajjan, Matthew R. Moore+5 more|arXiv (Cornell University)|Oct 6, 2019

Advanced Vision and Imaging参考文献 49被引用 20

一句话总结

ClearGrasp 提出了一种深度学习方法，通过预测表面法线、透明表面掩码和遮挡/接触边缘，校正 RGB-D 相机对透明物体的不准确深度估计，进而通过全局优化精炼深度图。该方法在真实世界透明物体上实现了 86% 的吸力夹持成功率和 72% 的平行夹爪夹持成功率，显著优于单目深度估计基线方法。

ABSTRACT

Transparent objects are a common part of everyday life, yet they possess unique visual properties that make them incredibly difficult for standard 3D sensors to produce accurate depth estimates for. In many cases, they often appear as noisy or distorted approximations of the surfaces that lie behind them. To address these challenges, we present ClearGrasp -- a deep learning approach for estimating accurate 3D geometry of transparent objects from a single RGB-D image for robotic manipulation. Given a single RGB-D image of transparent objects, ClearGrasp uses deep convolutional networks to infer surface normals, masks of transparent surfaces, and occlusion boundaries. It then uses these outputs to refine the initial depth estimates for all transparent surfaces in the scene. To train and test ClearGrasp, we construct a large-scale synthetic dataset of over 50,000 RGB-D images, as well as a real-world test benchmark with 286 RGB-D images of transparent objects and their ground truth geometries. The experiments demonstrate that ClearGrasp is substantially better than monocular depth estimation baselines and is capable of generalizing to real-world images and novel objects. We also demonstrate that ClearGrasp can be applied out-of-the-box to improve grasping algorithms' performance on transparent objects. Code, data, and benchmarks will be released. Supplementary materials available on the project website: https://sites.google.com/view/cleargrasp

研究动机与目标

• 解决 RGB-D 数据中透明物体深度估计不准确的问题，该问题阻碍了机器人操作。
• 开发一种方法，利用合成训练数据和领域随机化，使模型泛化到真实世界的透明物体。
• 通过提升深度估计的准确性，改善机器人在透明物体上的抓取性能。
• 构建大规模合成数据集和真实世界基准，用于透明物体几何建模。

提出的方法

• ClearGrasp 使用三个深度卷积神经网络，从单张 RGB-D 图像中预测表面法线、透明表面掩码和遮挡/接触边缘。
• 通过掩码剔除不可靠的深度值，并利用接触和遮挡边缘将可靠的深度从非透明表面传播出去。
• 系统通过预测的法线、掩码和边缘图执行全局优化，以精炼初始深度图。
• 在合成数据上训练时应用领域随机化，以提升对真实世界变化的鲁棒性。
• 使用域内合成数据进行微调，并在域外真实场景（如 Scannet、Matterport）上进行预训练，以减小域差距。
• 边缘预测使用加权损失函数，显式建模接触边缘以提升深度补全性能。

实验结果

研究问题

• RQ1 在合成数据上训练的深度学习模型能否泛化到真实世界的透明物体，实现准确的三维几何估计？
• RQ2 表面法线预测、透明掩码估计和边缘检测的结合，在提升透明物体深度补全方面有多有效？
• RQ3 将域内合成数据与域外真实世界数据混合，是否能提升对新型透明物体和真实世界场景的泛化能力？
• RQ4 与基线深度估计方法相比，ClearGrasp 在透明物体上的机器人抓取性能提升了多少？
• RQ5 掩码、法线和接触边缘各组件对最终深度估计精度的贡献如何？

主要发现

• 在真实世界基准上，ClearGrasp 的平均深度误差为 0.027 m（中位数 0.048 m），显著优于单目深度估计基线方法。
• 该模型将真实机器人平台上的吸力夹持成功率从 64% 提升至 86%，平行夹爪夹持成功率从 12% 提升至 72%。
• 掩码预测的真正例率 >95% 对于剔除噪声深度值至关重要，可大幅降低误差。
• 引入接触边缘并使用加权损失函数可提升深度补全性能，完整模型在接触边缘基准上的准确率达到 97.17%。
• 在域外真实世界数据（Scannet/Matterport）上预训练，再在合成数据上微调，能实现对真实世界测试集的最佳泛化效果。
• 消融实验证实，掩码、法线和接触边缘所有组件对最优性能均不可或缺。