[论文解读] Category-Level 6D Object Pose Estimation via Cascaded Relation and Recurrent Reconstruction Networks

Jiaze Wang, Kai Chen+1 more|arXiv (Cornell University)|Aug 19, 2021

Robot Manipulation and Learning被引用 7

一句话总结

该论文提出了一种级联关系与循环重建网络，用于类别级6D物体位姿估计，利用RGB图像、点云和类别形状先验，在NOCS空间中重建规范化的3D模型。该方法在CAMERA25数据集上实现了最先进性能，分别在严格 $3D_{75}$ 和 $5^\circ2cm$ 评价指标下，将mAP分别提升了4.9%和17.7%。

ABSTRACT

Category-level 6D pose estimation, aiming to predict the location and orientation of unseen object instances, is fundamental to many scenarios such as robotic manipulation and augmented reality, yet still remains unsolved. Precisely recovering instance 3D model in the canonical space and accurately matching it with the observation is an essential point when estimating 6D pose for unseen objects. In this paper, we achieve accurate category-level 6D pose estimation via cascaded relation and recurrent reconstruction networks. Specifically, a novel cascaded relation network is dedicated for advanced representation learning to explore the complex and informative relations among instance RGB image, instance point cloud and category shape prior. Furthermore, we design a recurrent reconstruction network for iterative residual refinement to progressively improve the reconstruction and correspondence estimations from coarse to fine. Finally, the instance 6D pose is obtained leveraging the estimated dense correspondences between the instance point cloud and the reconstructed 3D model in the canonical space. We have conducted extensive experiments on two well-acknowledged benchmarks of category-level 6D pose estimation, with significant performance improvement over existing approaches. On the representatively strict evaluation metrics of $3D_{75}$ and $5^{\circ}2 cm$, our method exceeds the latest state-of-the-art SPD by $4.9\%$ and $17.7\%$ on the CAMERA25 dataset, and by $2.7\%$ and $8.5\%$ on the REAL275 dataset. Codes are available at https://wangjiaze.cn/projects/6DPoseEstimation.html.

研究动机与目标

• 解决在无需CAD模型的情况下，对类别中未见物体实例进行6D物体位姿估计的挑战。
• 通过建模RGB图像、点云与类别先验之间的复杂关系，改进NOCS空间中规范3D模型的重建。
• 通过从粗到精的迭代优化重建3D模型，提升位姿估计的准确性。
• 克服类别内形状差异以及类别级6D位姿估计中空间特征学习偏差的问题。
• 为现实世界中的机器人操作与增强现实应用建立一个鲁棒的框架。

提出的方法

• 设计了一种级联关系网络，用于建模实例RGB图像与点云之间的跨模态关系，增强特征表示。
• 设计了一种类间关系网络，用于捕捉实例特征与类别形状先验之间的关系，以建模类别内形状差异。
• 设计了一种循环重建网络，通过迭代残差优化，在NOCS空间中逐步提升3D模型重建的准确性。
• 利用重建的规范3D模型与观测到的实例点云建立密集对应关系，实现6D位姿估计。
• 在结合CAMERA25和REAL275的混合数据集上端到端训练该框架，每个类别仅使用3个训练实例。
• 利用归一化物体坐标空间（NOCS）统一同一类别中不同实例的尺度与朝向。

实验结果

研究问题

• RQ1 如何有效建模RGB图像与点云之间的跨模态关系，以提升类别级设置下的6D位姿估计性能？
• RQ2 类别级形状先验在多大程度上能够减少类别内形状差异，并改善规范3D模型的重建？
• RQ3 循环优化能否以从粗到精的方式提升3D模型重建的准确性，从而提升6D位姿估计性能？
• RQ4 在严格评价指标（如 $3D_{75}$ 和 $5^\circ2cm$）下，所提方法与最先进方法相比表现如何？
• RQ5 级联关系模块与循环重建模块对整体性能提升的贡献分别是什么？

主要发现

• 在CAMERA25基准上，该方法在 $3D_{75}$ 评价指标下实现了55.9%的mAP（3D IoU为75%），相比之前最先进方法SPD提升了4.9%。
• 在同一数据集上，该方法在 $5^\circ2cm$ 位姿误差指标下mAP提升了17.7%，优于SPD。
• 在REAL275基准上，该方法在 $5^\circ2cm$ 误差指标下实现了27.8%的mAP，相比SPD提升了8.5%。
• 在CAMERA25和REAL275上，所有类别中重建的NOCS模型的Chamfer Distance（CD）均持续低于SPD，表明其形状重建性能更优。
• 消融实验表明，基于Transformer的关系模块在建模长距离与跨模态关系方面优于MLP和Non-Local网络。
• 当采用两个循环步骤时，循环重建网络在CAMERA25上使 $5^\circ2cm$ 指标的mAP提升了4.7%，在REAL275上提升了4.0%，证明了迭代优化的有效性。