[论文解读] MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare

Yann Labbé, Lucas Manuelli+8 more|arXiv (Cornell University)|Dec 13, 2022

Robot Manipulation and Learning被引用 68

一句话总结

MegaPose 在推理时通过使用渲染-对比的 refinement 流水线和新颖的粗略位姿估计器，对新物体的 6D 姿态进行估计，基于大规模合成数据集训练，在 ModelNet 上达到最先进的结果，在 BOP 上也具备竞争力的结果，且无需对物体进行特定训练。

ABSTRACT

We introduce MegaPose, a method to estimate the 6D pose of novel objects, that is, objects unseen during training. At inference time, the method only assumes knowledge of (i) a region of interest displaying the object in the image and (ii) a CAD model of the observed object. The contributions of this work are threefold. First, we present a 6D pose refiner based on a render&compare strategy which can be applied to novel objects. The shape and coordinate system of the novel object are provided as inputs to the network by rendering multiple synthetic views of the object's CAD model. Second, we introduce a novel approach for coarse pose estimation which leverages a network trained to classify whether the pose error between a synthetic rendering and an observed image of the same object can be corrected by the refiner. Third, we introduce a large-scale synthetic dataset of photorealistic images of thousands of objects with diverse visual and shape properties and show that this diversity is crucial to obtain good generalization performance on novel objects. We train our approach on this large synthetic dataset and apply it without retraining to hundreds of novel objects in real images from several pose estimation benchmarks. Our approach achieves state-of-the-art performance on the ModelNet and YCB-Video datasets. An extensive evaluation on the 7 core datasets of the BOP challenge demonstrates that our approach achieves performance competitive with existing approaches that require access to the target objects during training. Code, dataset and trained models are available on the project page: https://megapose6d.github.io/.

研究动机与目标

• 使用仅有 CAD 模型和感兴趣区域图像来实现新物体的 6D 姿态估计。
• 开发一个粗略位姿估计器，在训练阶段不依赖物体特定的对称性知识。
• 设计一个 refinement 网络，通过渲染多视图来实现对未见物体的泛化。
• 利用大规模合成数据集以提升对新物体的泛化能力。
• 在 ModelNet 和 BOP 数据集上评估，展示最先进或具有竞争力的性能。

提出的方法

• 通过一个分类模型进行粗略位姿估计，选择与观测图像最为兼容的渲染视图，从而能够处理对称性问题。
• 给定初始位姿的情况下， refinement 网络通过锚点在多个视图上进行渲染，并在解耦的旋转/平移表达下预测位姿更新。
• 通过将锚点投影到图像中心并使用多个视点来推断其位置来处理锚点，从而实现对新物体的泛化。
• 输入可以是 RGB 或 RGB-D，采用 ResNet-34 主干，后接一个用于粗略模型的全连接层，以及一个 9 维输出的 refinement。
• 在一个大型合成数据集（200 万张图片）上进行训练，数据来自 ShapeNet 与 Google Scanned Objects，使用数据增强和深度/法线通道以提高真实感和对遮挡的鲁棒性。
• 包含深度/法线通道，深度输入归一化以帮助跨物体的尺度泛化。

实验结果

研究问题

• RQ1 是否可以通过使用合成数据和渲染-对比 refinement 将 6D 位姿估计器训练成对未在训练中看到的新物体具有泛化能力？
• RQ2 是否可以在训练阶段不显式提供对称信息的情况下训练出粗略位姿估计器，以有效初始化对新物体的 refinement？
• RQ3 大规模合成数据如何影响对新物体实例在不同基准上的泛化能力？
• RQ4 在测试时新物体对 MegaPose 的标准 6D 位姿基准（ModelNet、YCB-Video，以及七个 BOP core 数据集）上的性能如何？

主要发现

• 粗略+ refinement 流水线显著改善初始位姿估计，并在若干基准上实现具有竞争力甚至优秀的结果，同时不需要对目标物体进行训练。
• MegaPose 的 RGB-D 变体在 YCB-V 和 LM-O 上相较于此前方法如 Zephyr 显著改善 AR，且在基准对上报告了平均提升。
• refiner 在 RGB-D 下可带来实质性收益（如 +41.0 AR），在 RTX 2080 上每次迭代约 50 ms，接近实时 refinement。
• 在大型、多样化的合成数据集上进行训练显著提升对新物体的泛化能力，消融实验显示训练对象数量和多样性越大，性能越好。
• 在 ModelNet 上，MegaPose refine 能在多项指标上超越 MP-AAE、LatentFusion 等最先进方法。
• 在七个 BOP core 数据集上，MegaPose 展示出强劲的性能，与需要在训练阶段访问目标对象的方法相比具有竞争力。