[论文解读] 3D object reconstruction and 6D-pose estimation from 2D shape for robotic grasping of objects

Marcell Wolnitza, Osman Nafız Kaya+3 more|arXiv (Cornell University)|Mar 2, 2022

Robotics and Sensor-Based Localization被引用 5

一句话总结

本文提出一种基于单目或双目RGB图像的6D姿态估计与3D物体重建方法，以2D形状匹配为主要线索。该方法利用预训练的2D分割网络（ResNet50V2），通过将观测到的物体轮廓与预计算的3D模型在不同视角下的2D投影进行比对，实现相机坐标系下的姿态估计与3D点云重建，其抓取成功率与SOTA深度学习方法（如DOPE）相当，在托盘上达到100%成功率，在水杯上达到80%成功率。

ABSTRACT

We propose a method for 3D object reconstruction and 6D-pose estimation from 2D images that uses knowledge about object shape as the primary key. In the proposed pipeline, recognition and labeling of objects in 2D images deliver 2D segment silhouettes that are compared with the 2D silhouettes of projections obtained from various views of a 3D model representing the recognized object class. By computing transformation parameters directly from the 2D images, the number of free parameters required during the registration process is reduced, making the approach feasible. Furthermore, 3D transformations and projective geometry are employed to arrive at a full 3D reconstruction of the object in camera space using a calibrated set up. Inclusion of a second camera allows resolving remaining ambiguities. The method is quantitatively evaluated using synthetic data and tested with real data, and additional results for the well-known Linemod data set are shown. In robot experiments, successful grasping of objects demonstrates its usability in real-world environments, and, where possible, a comparison with other methods is provided. The method is applicable to scenarios where 3D object models, e.g., CAD-models or point clouds, are available and precise pixel-wise segmentation maps of 2D images can be obtained. Different from other methods, the method does not use 3D depth for training, widening the domain of application.

研究动机与目标

• 在无需3D深度数据或6D姿态标注进行训练的前提下，实现从2D RGB图像中准确进行3D物体重建与6D姿态估计。
• 开发一种主要依赖2D形状与轮廓作为通用线索的方法，实现姿态与结构估计，且独立于颜色或纹理信息。
• 在校准的单目或双目相机设置及真实3D物体模型下，验证该方法在真实机器人抓取任务中的可行性。
• 提供包含多视角图像、3D模型与相机参数的数据集，以支持可复现性与基准测试。
• 通过仅使用标注的2D分割掩码，降低对昂贵3D数据或复杂6D姿态监督的依赖。

提出的方法

• 基于深度学习的ResNet50V2模型对2D RGB图像进行实例分割与物体分类，以提取精确的2D物体轮廓。
• 为多种视角下的3D物体模型（来自CAD或3D扫描）预先计算2D轮廓，构建参考数据库。
• 利用几何相似性度量，将图像中观测到的2D轮廓与3D模型数据库中的最匹配2D投影进行匹配。
• 直接从2D对应点估计变换参数（旋转与平移），从而减少配准过程中的自由参数数量。
• 通过将估计的6D姿态应用于3D模型点云，并利用标定的内参与外参将其变换到相机坐标系，实现3D重建。
• 引入第二台相机以解决对称或重复结构物体带来的姿态歧义问题。

实验结果

研究问题

• RQ1 仅依靠2D物体轮廓是否足以在真实机器人场景中实现准确的6D姿态估计与3D重建？
• RQ2 基于经典形状的方法在性能上能否与依赖3D监督或复杂特征学习的深度学习方法相媲美或超越？
• RQ3 该方法在具有挑战性几何结构的物体（如薄型或对称结构，如汤匙或方盒）上的表现如何？
• RQ4 仅使用2D分割掩码与3D模型先验，能否在不依赖3D深度数据或6D姿态标注的情况下实现高抓取成功率？
• RQ5 引入第二台相机在提升对称或模糊物体姿态估计鲁棒性方面有何改善作用？

主要发现

• 在托盘抓取实验中，该方法实现了100%的成功率，水杯为80%，瓶子为90%。
• 由于汤匙具有细长结构，其成功率为40%，与DOPE方法在YCB汤罐上报告的58.3%成功率相比处于可比水平。
• 在合成数据上，该方法对瓶子、方盒、水杯和托盘的性能达到90%–100%的成功率，其中方盒因宽大形状在真实测试中略显不足。
• 尽管仅在2D分割掩码上进行训练，该方法在性能上与使用3D监督的SOTA方法DOPE相当。
• 该方法成功应用于Linemod数据集，表明其姿态估计模块可与PoseCNN相媲美，验证了其泛化能力。
• 作者发布了包含多视角图像、3D模型与相机参数的新数据集，支持可复现性与未来基准测试。