[论文解读] GDRNPP: A Geometry-guided and Fully Learning-based Object Pose Estimator

Liu, Xingyu, Zhang, Ruida+5 more|arXiv (Cornell University)|Feb 24, 2021

Robot Manipulation and Learning参考文献 65被引用 14

一句话总结

GDR-Net 提出了一种基于几何引导的、端到端可微分的6D物体位姿估计算法，通过学习的2D-3D对应关系和一种新颖的Patch-PnPs模块，直接从单张RGB图像回归位姿。该方法在LM、LM-O和YCB-V基准上实现了最先进精度，同时保持了实时推理速度，优于基于直接回归和间接PnPs/RANSAC的方法。

ABSTRACT

6D pose estimation of rigid objects is a long-standing and challenging task in computer vision. Recently, the emergence of deep learning reveals the potential of Convolutional Neural Networks (CNNs) to predict reliable 6D poses. Given that direct pose regression networks currently exhibit suboptimal performance, most methods still resort to traditional techniques to varying degrees. For example, top-performing methods often adopt an indirect strategy by first establishing 2D-3D or 3D-3D correspondences followed by applying the RANSAC-based PnP or Kabsch algorithms, and further employing ICP for refinement. Despite the performance enhancement, the integration of traditional techniques makes the networks time-consuming and not end-to-end trainable. Orthogonal to them, this paper introduces a fully learning-based object pose estimator. In this work, we first perform an in-depth investigation of both direct and indirect methods and propose a simple yet effective Geometry-guided Direct Regression Network (GDRN) to learn the 6D pose from monocular images in an end-to-end manner. Afterwards, we introduce a geometry-guided pose refinement module, enhancing pose accuracy when extra depth data is available. Guided by the predicted coordinate map, we build an end-to-end differentiable architecture that establishes robust and accurate 3D-3D correspondences between the observed and rendered RGB-D images to refine the pose. Our enhanced pose estimation pipeline GDRNPP (GDRN Plus Plus) conquered the leaderboard of the BOP Challenge for two consecutive years, becoming the first to surpass all prior methods that relied on traditional techniques in both accuracy and speed. The code and models are available at https://github.com/shanice-l/gdrnpp_bop2022.

研究动机与目标

• 解决依赖PnPs/RANSAC后处理对应预测的两阶段、不可微分6D位姿估计流程的局限性。
• 通过利用密集2D-3D对应关系的几何引导，提升直接6D位姿回归的性能。
• 将直接回归与基于几何的间接方法的优势统一到一个端到端可训练的框架中。
• 实现可微分的位姿预测，以支持自监督学习及其他可微分视觉流水线。

提出的方法

• 网络使用CNN从单张RGB图像中提取特征，并预测密集2D-3D对应关系。
• 从2D-3D对应关系构建类似图像的2D小块，以保留空间结构并支持2D卷积处理。
• 引入可学习的Patch-PnPs模块，直接从2D小块中的几何特征回归6D位姿（旋转和平移）。
• 利用动态缩放（DZI）实现检测与位姿估计的解耦，提升鲁棒性与推理速度。
• 整个流程端到端可微分，支持通过位姿回归模块进行反向传播。
• 对称位姿损失用于处理对称物体，并在训练中使用颜色增强以防止过拟合。

实验结果

研究问题

• RQ1 当通过中间几何表示进行引导时，直接6D位姿回归能否达到与基于几何的间接方法相当的性能？
• RQ2 如何使PnPs优化步骤在端到端深度学习框架中实现可微分与可训练？
• RQ3 能否通过2D卷积操作有效利用2D-3D对应关系的空间结构以提升位姿估计精度？
• RQ4 统一的、端到端可微分架构是否能在标准基准上超越纯直接回归与两阶段间接方法？
• RQ5 该方法是否能在YCB-V和LM-O等挑战性数据集上实现最先进精度的同时保持实时推理速度？

主要发现

• GDR-Net在LM-O数据集上实现了最先进性能，超越了包括DeepIM等基于精炼的先前方法，即使在使用真实+合成数据训练时亦然。
• 在YCB-V数据集上，GDR-Net在单个网络/物体下实现了84.4%的ADD(-S) AUC和91.6%的ADD-S AUC，优于CosyPose和DeepIM等方法，且无需精炼。
• 该方法在单张GPU上每物体推理时间约为22ms，证明了其具备实时推理能力。
• 即使不使用精炼，GDR-Net的单模型方法在YCB-V上仍取得了与基于精炼的最先进方法相当的竞争力结果。
• 消融实验证实，Patch-PnPs模块与几何引导显著提升了性能，优于标准直接回归方法。
• 采用动态缩放（DZI）实现检测与位姿解耦仅导致精度轻微下降，验证了其在实际部署中的有效性。