[论文解读] ACR-Pose: Adversarial Canonical Representation Reconstruction Network for Category Level 6D Object Pose Estimation

Zhaoxin Fan, Zhengbo Song+5 more|arXiv (Cornell University)|Nov 20, 2021

Robot Manipulation and Learning参考文献 54被引用 8

一句话总结

ACR-Pose 提出了一种用于类别级 6D 物体位姿估计的对抗性规范表示重建网络，通过姿态无关模块过滤与位姿相关的特征，并通过关系重建模块挖掘 RGB、深度和形状先验之间的跨模态关系。通过对抗性训练，该方法在 NOCS-CAMERA 和 NOCS-REAL 数据集上实现了最先进性能，显著提升了重建的真实感与准确性。

ABSTRACT

Recently, category-level 6D object pose estimation has achieved significant improvements with the development of reconstructing canonical 3D representations. However, the reconstruction quality of existing methods is still far from excellent. In this paper, we propose a novel Adversarial Canonical Representation Reconstruction Network named ACR-Pose. ACR-Pose consists of a Reconstructor and a Discriminator. The Reconstructor is primarily composed of two novel sub-modules: Pose-Irrelevant Module (PIM) and Relational Reconstruction Module (RRM). PIM tends to learn canonical-related features to make the Reconstructor insensitive to rotation and translation, while RRM explores essential relational information between different input modalities to generate high-quality features. Subsequently, a Discriminator is employed to guide the Reconstructor to generate realistic canonical representations. The Reconstructor and the Discriminator learn to optimize through adversarial training. Experimental results on the prevalent NOCS-CAMERA and NOCS-REAL datasets demonstrate that our method achieves state-of-the-art performance.

研究动机与目标

• 提升类别级 6D 物体位姿估计中规范 3D 表示重建的质量。
• 解决现有方法在过滤与位姿相关特征以及忽略跨模态关系信息方面的局限性。
• 通过提升重建规范表示的真实感，改善下游位姿估计的准确性。
• 探索对抗性训练在 6D 位姿估计规范表示学习中的有效性。

提出的方法

• 重构器采用姿态无关模块（PIM）抑制旋转和位移线索，专注于形状不变特征以进行规范表示学习。
• 引入关系重建模块（RRM），通过三种不同的基于图的消息传递机制，建模 RGB、深度和学习到的形状先验之间的关系特征。
• 重构器利用形状先验形变，从融合特征中重建规范表示。
• 判别器与重构器联合进行对抗性训练，以增强重建规范表示的真实感。
• 最终通过 Umeyama 算法，将重建的规范表示与反投影的深度观测对齐，实现 6D 位姿估计。
• 对抗性训练仅在训练阶段应用，从而在保持高效推理的同时提升重建保真度。

实验结果

研究问题

• RQ1 对抗性训练能否提升类别级 6D 物体位姿估计中规范 3D 表示重建的真实感与质量？
• RQ2 姿态无关模块在过滤与位姿相关的特征以增强特定形状表示学习方面的有效性如何？
• RQ3 RGB、深度和形状先验之间的关系特征在多大程度上提升了重建性能？
• RQ4 该方法在遮挡和截断等真实世界挑战下的表现如何？

主要发现

• ACR-Pose 在类别级 6D 物体位姿估计任务中，于 NOCS-CAMERA（合成）和 NOCS-REAL（真实）数据集上均实现了最先进性能。
• 消融实验表明，引入关系重建模块通过跨三种输入模态的消息传递机制，显著提升了性能。
• 姿态无关模块通过过滤旋转与位移干扰，使所有评估指标提升 1% 至 3%。
• 对抗性训练带来显著性能增益，证实更真实的规范表示可提升下游位姿对齐效果。
• 失败案例主要源于物体截断或遮挡，表明在具有挑战性的现实场景中仍存在局限性。