[论文解读] DPOD: Dense 6D Pose Object Detector in RGB images

Sergey Zakharov, Ivan Shugurov+1 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Neural Network Applications参考文献 22被引用 32

一句话总结

本文提出 DPOD，一种基于 CNN 的实时方法，通过预测密集的 2D-3D 对应关系和多类别分割掩码，在 RGB 图像中实现联合 6D 物体位姿估计与检测。与依赖 2D/3D 边界框的先前方法不同，DPOD 利用这些密集对应关系结合 PnP 和 RANSAC，显著提升了位姿精度，在单物体和多物体基准上均超越了最先进方法，即使仅使用合成数据进行训练亦如此。

ABSTRACT

In this work we propose a new method for simultaneous object detection and 6DoF pose estimation. Unlike most recent techniques for CNN-based object detection and pose estimation, we do not base our approach on the common 2D counterparts, i.e. SSD and YOLO, but propose a new scheme. Instead of regressing 2D or 3D bounding boxes, we output full-sized 2D images containing multiclass object masks and dense 2D-3D correspondences. Having them at hand, a 6D pose is computed for each detected object using the PnP algorithm supplemented with RANSAC. This strategy allows for substantially better pose estimates due to a much higher number of relevant pose correspondences. Furthermore, the method is real-time capable, conceptually simple and not bound to any particular detection paradigms, such as R-CNN, SSD or YOLO. We test our method for single- and multiple-object pose estimation and compare the performance with the former state-of-the-art approaches. Moreover, we demonstrate how to use our pipeline when only synthetic renderings are available. In both cases, we outperform the former state-of-the-art by a large margin.

研究动机与目标

• 解决现有 6D 位姿估计方法依赖稀疏或基于边界框的监督所带来的局限性，此类方法限制了位姿精度。
• 开发一种统一的、实时的框架，实现无需依赖特定检测架构（如 R-CNN、SSD 或 YOLO）的物体检测与 6D 位姿估计同步进行。
• 通过利用密集的 2D-3D 对应关系而非稀疏关键点或基于框的监督，提升位姿估计精度。
• 仅使用合成 RGB 渲染图像实现有效训练，减少对昂贵的真实世界标注数据的依赖。

提出的方法

• 提出一种新型检测头，为每个物体实例输出全分辨率的多类别分割掩码和密集的 2D-3D 对应关系。
• 将预测的密集对应关系输入 PnP 算法并结合 RANSAC，以计算精确的 6D 物体位姿。
• 设计网络架构以实现检测范式无关性，支持与多种主干网络和推理流程兼容。
• 通过结合分割和对应关系监督，实现端到端训练，即使仅使用合成渲染图像亦可。
• 利用对应关系的高密度性，相比稀疏关键点回归，显著提升位姿估计的鲁棒性与精度。
• 通过避免复杂的区域建议网络，依赖密集预测头，实现实时推理。

实验结果

研究问题

• RQ1 与稀疏关键点或边界框回归相比，密集 2D-3D 对应关系预测是否能提升 6D 物体位姿估计的精度？
• RQ2 是否可能仅使用合成 RGB 渲染图像进行训练，即实现最先进水平的 6D 位姿估计性能？
• RQ3 能否设计一种检测与位姿框架，使其独立于特定检测范式（如 R-CNN 或 YOLO）？
• RQ4 在单物体和多物体场景中，密集对应关系的使用如何增强位姿估计的鲁棒性与精度？

主要发现

• DPOD 在单物体和多物体基准上均实现了优于先前最先进方法的 6D 位姿估计性能。
• 该方法通过利用密集 2D-3D 对应关系显著提升了位姿精度，这些对应关系为 PnP 与 RANSAC 提供了更可靠且丰富的数据。
• DPOD 具备实时推理能力，适用于动态环境中的实际部署。
• 即使仅在合成 RGB 渲染图像上进行训练，该框架在真实世界数据上也表现出良好的泛化能力。
• 该方法不依赖于任何特定的物体检测范式，为模型设计与集成提供了灵活性。
• 性能提升显著，论文指出相比先前方法实现了“巨大优势”的改进。