[论文解读] FS-Net: Fast Shape-based Network for Category-Level 6D Object Pose Estimation with Decoupled Rotation Mechanism

Wei Chen, Xi Jia+4 more|arXiv (Cornell University)|Mar 12, 2021

Robot Manipulation and Learning参考文献 42被引用 9

一句话总结

FS-Net 提出了一种基于形状的快速深度神经网络，用于使用单目 RGB-D 图像进行类别级 6D 物体位姿估计，通过 3D 图卷积自编码器实现旋转不变的特征学习，并采用解耦旋转机制以提高准确性和鲁棒性。该方法在不使用合成数据的情况下，在 NOCS-REAL 数据集上实现了 SOTA 性能，推理速度达 20 FPS，准确率提升 6.3%。

ABSTRACT

In this paper, we focus on category-level 6D pose and size estimation from monocular RGB-D image. Previous methods suffer from inefficient category-level pose feature extraction which leads to low accuracy and inference speed. To tackle this problem, we propose a fast shape-based network (FS-Net) with efficient category-level feature extraction for 6D pose estimation. First, we design an orientation aware autoencoder with 3D graph convolution for latent feature extraction. The learned latent feature is insensitive to point shift and object size thanks to the shift and scale-invariance properties of the 3D graph convolution. Then, to efficiently decode category-level rotation information from the latent feature, we propose a novel decoupled rotation mechanism that employs two decoders to complementarily access the rotation information. Meanwhile, we estimate translation and size by two residuals, which are the difference between the mean of object points and ground truth translation, and the difference between the mean size of the category and ground truth size, respectively. Finally, to increase the generalization ability of FS-Net, we propose an online box-cage based 3D deformation mechanism to augment the training data. Extensive experiments on two benchmark datasets show that the proposed method achieves state-of-the-art performance in both category- and instance-level 6D object pose estimation. Especially in category-level pose estimation, without extra synthetic data, our method outperforms existing methods by 6.3% on the NOCS-REAL dataset.

研究动机与目标

• 解决由于特征提取效率低下导致的类别级 6D 位姿估计中准确率低和推理速度慢的问题。
• 通过聚焦于形状特征，克服基于 RGB 方法的局限性，降低对颜色变化的敏感性。
• 通过引入一种新颖的 3D 数据增强策略，提升在有限训练数据下的泛化能力。
• 通过一种能处理圆形对称和轴对称的旋转表示，实现对对称物体的鲁棒估计。
• 设计一种快速、实时的系统，可在消费级 GPU 硬件上实现 20 FPS 的推理速度。

提出的方法

• 使用 3D 图卷积（3DGC）自编码器，从从深度图像中提取的点云中学习具有方向感知性、平移和尺度不变性的潜在特征。
• 引入一种基于两个互补解码器的解耦旋转机制，从学习到的潜在特征中估计旋转，从而提升对称性下的鲁棒性。
• 通过残差网络估计平移和尺寸，预测均值物体坐标/尺寸与真实值之间的差异。
• 提出一种基于在线盒子-笼的 3D 变形机制，通过模拟真实的形状变化来增强训练数据。
• 使用 YOLOv3 进行 2D 物体检测，从 RGB-D 输入中提取粗粒度 3D 点云，随后通过 3D 球体裁剪作为网络输入。
• 采用基于向量的旋转表示，并通过旋转群分析和距离最小化方法，将其扩展以处理多种对称类型（如双轴、N 轴对称）。

实验结果

研究问题

• RQ1 基于形状的网络是否能通过高效的类别级特征提取，在 6D 位姿估计中超越现有的基于 RGB 或 RGB-D 融合的方法？
• RQ2 如何通过解耦旋转机制有效解决对称物体中的旋转歧义？
• RQ3 在线 3D 数据增强在低数据场景下对类别级位姿估计的泛化能力提升程度如何？
• RQ4 3DGC 自编码器是否能学习到对物体尺寸和点云位移不敏感的鲁棒、不变特征？
• RQ5 在类别级 6D 位姿估计中，推理速度与准确率之间的权衡如何？能否实现真正的实时性能？

主要发现

• FS-Net 在 NOCS-REAL 数据集上实现了类别级 6D 位姿估计的 SOTA 性能，且未使用任何合成数据，准确率相比之前方法提升 6.3%。
• 该模型在 GTX 1080 Ti GPU 上实现 20 FPS 的推理速度，展现出适合实时机器人应用的高效率。
• 所提出的在线盒子-笼 3D 变形机制在 NOCS-REAL 数据集上将位姿估计准确率提升了 7.7%，显著增强了在弱监督条件下的泛化能力。
• 解耦旋转机制通过旋转群分析有效解决了对称物体（包括具有圆形或轴对称的物体）的旋转歧义。
• 定性结果表明，与 Shape-Prior 相比，FS-Net 对颜色和形状变化更具鲁棒性，在 Shape-Prior 失败的情况下仍能正确估计位姿。
• 3DGC 自编码器学习到的潜在特征对点云位移和尺度变化具有不变性，从而在类内变化中保持一致的特征表示。