[论文解读] SAR-Net: Shape Alignment and Recovery Network for Category-level 6D Object Pose and Size Estimation

Haitao Lin, Zichang Liu+4 more|arXiv (Cornell University)|Jun 27, 2021

Robotics and Sensor-Based Localization被引用 5

一句话总结

SAR-Net 提出了一种轻量级、基于几何的方案，仅使用 RGB-D 图像和类别级监督进行类别级 6D 物体位姿与尺寸估计，无需真实世界标注的训练数据。它通过形变类别级模板点云实现形状对齐，隐式表示 3D 旋转；并通过端到端学习的点云重建实现对称对应，以恢复粗略的 3D 形状。该方法在 NOCS 基准上实现了最先进性能，并成功实现了在 Baxter 机器人上的机械臂抓取任务。

ABSTRACT

Given a single scene image, this paper proposes a method of Category-level 6D Object Pose and Size Estimation (COPSE) from the point cloud of the target object, without external real pose-annotated training data. Specifically, beyond the visual cues in RGB images, we rely on the shape information predominately from the depth (D) channel. The key idea is to explore the shape alignment of each instance against its corresponding category-level template shape, and the symmetric correspondence of each object category for estimating a coarse 3D object shape. Our framework deforms the point cloud of the category-level template shape to align the observed instance point cloud for implicitly representing its 3D rotation. Then we model the symmetric correspondence by predicting symmetric point cloud from the partially observed point cloud. The concatenation of the observed point cloud and symmetric one reconstructs a coarse object shape, thus facilitating object center (3D translation) and 3D size estimation. Extensive experiments on the category-level NOCS benchmark demonstrate that our lightweight model still competes with state-of-the-art approaches that require labeled real-world images. We also deploy our approach to a physical Baxter robot to perform grasping tasks on unseen but category-known instances, and the results further validate the efficacy of our proposed model. Code and pre-trained models are available on the project webpage.

研究动机与目标

• 解决 6D 物体位姿估计中类别内差异与合成图像与真实图像之间域差距的挑战。
• 通过仅使用类别级监督，减少对实例级 3D CAD 模型的依赖。
• 利用基于深度的形状信息与几何先验（形状对齐与对称性）实现鲁棒的 3D 位姿与尺寸估计。
• 实现在无需真实世界位姿标注数据的情况下，于机器人操作任务中实用化部署。

提出的方法

• 通过形变类别级模板点云以对齐观测实例点云，利用正交普鲁克斯特斯问题隐式编码 3D 旋转。
• 通过编码器-解码器网络建模对称对应，从部分观测实例中预测对称点云，促进粗略形状重建。
• 将观测点云与预测的对称点云拼接，以重建完整的粗略 3D 形状，提升物体中心与尺寸估计性能。
• 利用合成数据与类别级监督进行端到端训练，避免对真实世界位姿标注图像的需求。
• 消融实验表明，模板点云中 36 个点在表示能力与性能之间提供了最佳权衡。
• 基于形状对齐的旋转表示优于标准方法（如四元数、SVD 和 R6d），尤其在严格指标下表现更优。

实验结果

研究问题

• RQ1 类别级模板的形状对齐是否能在类别内差异下提升 3D 旋转估计性能？
• RQ2 从部分观测中学习的对称对应是否能增强 3D 形状重建，从而提升位姿与尺寸估计性能？
• RQ3 一种无需真实世界训练数据的基于几何的方法是否能在类别级 6D 位姿估计上实现最先进性能？
• RQ4 所提出方法在真实世界机器人操作任务中的泛化能力如何？

主要发现

• SAR-Net 在 NOCS 基准上实现了类别级 6D 物体位姿与尺寸估计的最先进性能，严格 $5^\circ$2cm 指标下 mAP 为 80.4%，准确率为 49.1%。
• 在机器人抓取任务中，该方法优于强基线模型 DualPose 与 SPD，在 3 个类别中 12 个未见实例上实现了 88.3% 的成功率。
• 在交接任务中，SAR-Net 达到 80% 的成功率，超过 DualPose（73.3%）与 SPD（66.7%），证明其具有鲁棒的 3D 旋转估计能力。
• 在倒液任务中，SAR-Net 成功率达 73.3%，优于 DualPose（60.0%）与 SPD（53.3%），验证了其在动态机器人任务中的实用性。
• 消融实验确认，作为旋转表示的形状对齐在泛化性能上优于四元数、SVD 或 R6d，尤其在严格位姿准确度阈值下表现更优。
• 类别级模板中点数的最优值为 36 个，16 个点过于稀疏，而 128 个点则增大了搜索空间并导致性能下降。