[论文解读] Leveraging SE(3) Equivariance for Self-Supervised Category-Level Object Pose Estimation

Xiaolong Li, Yijia Weng+5 more|arXiv (Cornell University)|Oct 30, 2021

3D Shape Modeling and Analysis参考文献 25被引用 11

一句话总结

该论文提出首个利用SE(3)等变性的自监督类别级6D物体位姿估计框架，训练过程中无需任何真实位姿标注、CAD模型或多视角监督。通过解耦形状与位姿，采用SE(3)不变性重建模块和SE(3)等变性位姿估计器，该方法学习到一个类别级参考坐标系，并在ModelNet40和NOCS-REAL275数据集上达到最先进性能，其精度可与部分全监督方法相媲美。

ABSTRACT

Category-level object pose estimation aims to find 6D object poses of previously unseen object instances from known categories without access to object CAD models. To reduce the huge amount of pose annotations needed for category-level learning, we propose for the first time a self-supervised learning framework to estimate category-level 6D object pose from single 3D point clouds.During training, our method assumes no ground-truth pose annotations, no CAD models, and no multi-view supervision. The key to our method is to disentangle shape and pose through an invariant shape reconstruction module and an equivariant pose estimation module, empowered by SE(3) equivariant point cloud networks.The invariant shape reconstruction module learns to perform aligned reconstructions, yielding a category-level reference frame without using any annotations. In addition, the equivariant pose estimation module achieves category-level pose estimation accuracy that is comparable to some fully supervised methods. Extensive experiments demonstrate the effectiveness of our approach on both complete and partial depth point clouds from the ModelNet40 benchmark, and on real depth point clouds from the NOCS-REAL 275 dataset. The project page with code and visualizations can be found at: https://dragonlong.github.io/equi-pose.

研究动机与目标

• 通过消除对真实位姿标签的需求，解决类别级6D物体位姿估计的高标注成本问题。
• 在既无CAD模型也无多视角监督的条件下，实现类别级位姿估计的自监督学习。
• 通过自监督形状重建，隐式发现类别级参考坐标系，无需任何监督。
• 在自监督设置下，实现与全监督方法相当的位姿估计精度。

提出的方法

• 该方法使用SE(3)不变性神经网络，从旋转和平移后的部分点云中重建规范形状，通过对齐学习类别级参考坐标系。
• 采用SE(3)等变性网络预测6D物体位姿，将重建形状变换至输入观测空间。
• 通过将预测的重建结果使用估计位姿进行变换，并与输入点云进行比较，形成一致性损失。
• 形状重建模块确保对SE(3)变换的不变性，而位姿模块确保等变性，从而实现形状与位姿的有效解耦。
• 该框架仅使用单视角深度点云端到端训练，不访问任何真实位姿或CAD模型。
• 该方法通过重建一致性实现自监督，使系统能够学习共享的类别级坐标空间。

实验结果

研究问题

• RQ1 自监督框架能否在无需任何真实位姿标注的情况下，学习到类别级参考坐标系用于6D物体位姿估计？
• RQ2 SE(3)等变性与不变性能否被有效利用，实现在自监督设置下对形状与位姿的解耦？
• RQ3 该方法能否在无CAD模型的前提下，于合成数据集和真实世界基准上均实现具有竞争力的位姿估计精度？
• RQ4 该方法在相同类别中未见过的新物体实例上泛化能力如何？

主要发现

• 该方法仅使用自监督学习，就在ModelNet40类别级6D物体位姿估计基准上实现了最先进性能。
• 在NOCS-REAL275真实世界数据集上，该方法即使在部分点云和噪声点云上也能生成准确的位姿预测。
• 不同物体实例和位姿下的规范形状重建结果高度对齐，表明类别级参考坐标系已自然形成。
• 尽管训练过程中未使用任何位姿标注，该方法的位姿估计精度仍可与部分全监督方法相媲美。
• 在YCB-Video数据集上，该方法在自监督实例级位姿估计中优于ICP-60，旋转和翻译误差更低。
• 该方法在新实例上泛化良好，包括对称和带纹理的物体，定量与定性评估均验证了其有效性。