[论文解读] FoundPose: Unseen Object Pose Estimation with Foundation Features

Evin Pınar Örnek, Yann Labbé+5 more|arXiv (Cornell University)|Nov 30, 2023

Advanced Neural Network Applications被引用 4

一句话总结

FoundPose 实现了对未见过的刚性物体在单张 RGB 图像下的 6D 姿态估计，利用 DINOv2 基础特征，无需任何针对物体的训练。通过利用 DINOv2 图块特征实现高效的模板检索、2D-3D 对应匹配和特征度量精炼，其在 BOP 基准测试中实现了最先进水平的准确率与速度，优于现有仅使用 RGB 的方法。

ABSTRACT

We propose FoundPose, a model-based method for 6D pose estimation of unseen objects from a single RGB image. The method can quickly onboard new objects using their 3D models without requiring any object- or task-specific training. In contrast, existing methods typically pre-train on large-scale, task-specific datasets in order to generalize to new objects and to bridge the image-to-model domain gap. We demonstrate that such generalization capabilities can be observed in a recent vision foundation model trained in a self-supervised manner. Specifically, our method estimates the object pose from image-to-model 2D-3D correspondences, which are established by matching patch descriptors from the recent DINOv2 model between the image and pre-rendered object templates. We find that reliable correspondences can be established by kNN matching of patch descriptors from an intermediate DINOv2 layer. Such descriptors carry stronger positional information than descriptors from the last layer, and we show their importance when semantic information is ambiguous due to object symmetries or a lack of texture. To avoid establishing correspondences against all object templates, we develop an efficient template retrieval approach that integrates the patch descriptors into the bag-of-words representation and can promptly propose a handful of similarly looking templates. Additionally, we apply featuremetric alignment to compensate for discrepancies in the 2D-3D correspondences caused by coarse patch sampling. The resulting method noticeably outperforms existing RGB methods for refinement-free pose estimation on the standard BOP benchmark with seven diverse datasets and can be seamlessly combined with an existing render-and-compare refinement method to achieve RGB-only state-of-the-art results. Project page: evinpinar.github.io/foundpose.

研究动机与目标

• 实现对未见过的刚性物体的 6D 姿态估计，且无需任何针对物体的训练。
• 利用 DINOv2 基础特征的泛化能力，实现零样本姿态估计。
• 设计一种最小化、可扩展的物体表示，支持快速在线推理。
• 在标准基准（如 BOP）上，提升现有仅使用 RGB 方法的准确率与速度。
• 展示特征度量精炼与 MegaPose 联合使用的有效性。

提出的方法

• 在注册阶段，从物体的渲染 RGB-D 模板中提取 DINOv2 图块特征，并利用深度信息在 3D 中进行注册。
• 从 DINOv2 图块特征构建词袋描述符，以实现在数据库中快速检索相似模板。
• 在推理阶段，使用带有物体掩码的查询图像，通过词袋描述符的余弦相似度检索最相似的 k 个模板。
• 通过匹配查询图像与检索到的模板之间的 DINOv2 图块特征，建立 2D-3D 对应关系。
• 基于 2D-3D 对应关系，使用 PnPRANSAC 生成姿态假设。
• 通过特征度量对齐对最优假设进行精炼，以减少粗粒度图块采样带来的差异。

实验结果

研究问题

• RQ1 DINOv2 基础特征是否能够在不进行微调或任何针对物体的训练下，实现对未见物体的准确 6D 姿态估计？
• RQ2 基于 DINOv2 图块特征构建的词袋描述符，在遮挡和域偏移条件下，其模板检索效果如何？
• RQ3 当与现有精炼器（如 MegaPose）结合时，特征度量精炼是否能提升姿态估计的准确率？
• RQ4 在 BOP 基准测试中，FoundPose 在准确率与推理速度方面与现有仅使用 RGB 的方法相比表现如何？
• RQ5 不同 DINOv2 层次与主干网络架构对姿态估计性能有何影响？

主要发现

• FoundPose 在 BOP 基准测试中，无论在准确率还是速度上，均优于所有现有的仅使用 RGB 的方法，实现了最先进水平的结果，且无需任何针对物体的训练。
• 使用 DINOv2 ViT-L 层 18 的带寄存器图块描述符，在几何一致性与区分能力之间实现了最佳平衡。
• 与基于 cls-token 的检索相比，词袋模板检索方法在遮挡条件下显著更鲁棒，当使用真实掩码时，准确率最高提升 19%。
• 特征度量精炼与 MegaPose 精炼具有互补性，二者结合后的准确率高于单独使用任一方法。
• 将 ViT-L 主干替换为 ViT-S 后，推理时间降至每张图像约 1.3 秒（包含 CNOS 分割），适用于实时应用。
• 在使用真实分割掩码时，FoundPose 的 AR 得分与 MegaPose 相差仅 6–19 分，但速度快 15 倍，展现出出色的效率-准确率权衡。