[论文解读] GPV-Pose: Category-level Object Pose Estimation via Geometry-guided Point-wise Voting

Di Yan, Ruida Zhang+5 more|arXiv (Cornell University)|Mar 15, 2022

Robot Manipulation and Learning被引用 7

一句话总结

GPV-Pose 提出了一种基于几何引导的类别级6D物体位姿估计框架，通过利用置信度感知的旋转预测和一种新颖的逐点边界框投票机制来增强特征学习。通过在点云、位姿和边界框之间强制实现几何一致性，该方法在公开基准上实现了20 FPS的实时性能，并达到当前最优效果。

ABSTRACT

While 6D object pose estimation has recently made a huge leap forward, most methods can still only handle a single or a handful of different objects, which limits their applications. To circumvent this problem, category-level object pose estimation has recently been revamped, which aims at predicting the 6D pose as well as the 3D metric size for previously unseen instances from a given set of object classes. This is, however, a much more challenging task due to severe intra-class shape variations. To address this issue, we propose GPV-Pose, a novel framework for robust category-level pose estimation, harnessing geometric insights to enhance the learning of category-level pose-sensitive features. First, we introduce a decoupled confidence-driven rotation representation, which allows geometry-aware recovery of the associated rotation matrix. Second, we propose a novel geometry-guided point-wise voting paradigm for robust retrieval of the 3D object bounding box. Finally, leveraging these different output streams, we can enforce several geometric consistency terms, further increasing performance, especially for non-symmetric categories. GPV-Pose produces superior results to state-of-the-art competitors on common public benchmarks, whilst almost achieving real-time inference speed at 20 FPS.

研究动机与目标

• 解决类别级6D物体位姿估计的挑战，即模型需对已知物体类别中未见过的实例预测其位姿和尺度。
• 克服现有方法依赖CAD模型且在类内形状变化下表现不佳的局限性。
• 通过显式建模点云、物体位姿与3D边界框之间的几何关系，提升特征学习能力。
• 在保持高精度的同时实现实时推理（20 FPS），适用于实际的AR/VR和机器人应用。

提出的方法

• 提出一种解耦的置信度驱动旋转表示，将旋转矩阵分解为平面法向量，实现闭式恢复并提升几何感知能力。
• 提出一种基于几何引导的逐点投票（GPV）机制，聚合所有点的方向、距离和置信度预测，以鲁棒地估计3D边界框。
• 利用两条几何一致性流：点云-位姿（PP）和点云-边界框-位姿（PBP），通过几何对应关系监督网络训练。
• 通过损失函数强制施加几何一致性项，使预测位姿与点云及投票生成的边界框对齐，从而提升泛化能力。
• 采用3D图卷积编码器作为主干网络，后续连接三个并行分支，分别用于直接位姿回归、对称感知重建和边界框投票。
• 应用置信加权最小二乘法，从逐点投票输出中计算最终平面参数，确保对噪声或稀疏预测的鲁棒性。

实验结果

研究问题

• RQ1 如何有效将几何先验融入类别级6D物体位姿估计，以提升对类内形状变化的鲁棒性？
• RQ2 置信度感知的旋转预测是否能提升位姿估计精度，特别是在非对称或具有挑战性的物体类别中？
• RQ3 与端到端回归相比，逐点边界框投票在多大程度上提升了3D框估计的准确性？
• RQ4 从PP和PBP流中衍生出的几何一致性项在类别级位姿估计中对整体性能提升起到了何种贡献？
• RQ5 统一框架能否在REAL275和CAMERA25等标准基准上同时实现高精度与实时推理速度（如20 FPS）？

主要发现

• GPV-Pose 在REAL275和CAMERA25基准上达到当前最优性能，3D IoU为63.2%（75%阈值）和29.9%（5°2cm误差阈值）。
• 消融实验表明，添加几何一致性损失（如$π^{BB}_{(R)}, π^{BB}_{(t)}$）可使$3D_{75}$性能从60.4%提升至63.2%，验证了其有效性。
• 引入置信度感知旋转预测后，$3D_{75}$性能从52.0%提升至56.9%，凸显了类别特定置信度加权的优势。
• 逐点投票机制生成了准确且置信的平面预测，可视化结果显示目标平面附近置信度高，远离区域置信度低。
• 当使用YOLO-V3 + ATSA进行实例检测时，完整流水线的推理速度约为20 FPS，适用于实时应用。
• 在实例级位姿估计中，GPV-Pose 在ADD(-S)指标下达到98.2%的准确率，与DualPoseNet和PVN3D等SOTA方法相当，同时保持实时速度。