[论文解读] A Review on Object Pose Recovery: from 3D Bounding Box Detectors to Full 6D Pose Estimators

Caner Şahin, Guillermo Garcia-Hernando+2 more|arXiv (Cornell University)|Jan 28, 2020

Robotics and Sensor-Based Localization参考文献 194被引用 4

一句话总结

本文首次全面综述了从3D边界框检测到完整6D姿态估计的物体姿态恢复方法。它基于问题建模方式（分类、回归或特征匹配）提出了一种数学基础扎实的分类体系，并分析了不同数据集、评估指标和挑战下的性能表现，突出显示了在仅使用RGB图像设置下基于深度学习的方法的优越性，以及在对称物体场景中VSD相较于AD的鲁棒性。

ABSTRACT

Object pose recovery has gained increasing attention in the computer vision field as it has become an important problem in rapidly evolving technological areas related to autonomous driving, robotics, and augmented reality. Existing review-related studies have addressed the problem at visual level in 2D, going through the methods which produce 2D bounding boxes of objects of interest in RGB images. The 2D search space is enlarged either using the geometry information available in the 3D space along with RGB (Mono/Stereo) images, or utilizing depth data from LIDAR sensors and/or RGB-D cameras. 3D bounding box detectors, producing category-level amodal 3D bounding boxes, are evaluated on gravity aligned images, while full 6D object pose estimators are mostly tested at instance-level on the images where the alignment constraint is removed. Recently, 6D object pose estimation is tackled at the level of categories. In this paper, we present the first comprehensive and most recent review of the methods on object pose recovery, from 3D bounding box detectors to full 6D pose estimators. The methods mathematically model the problem as a classification, regression, classification & regression, template matching, and point-pair feature matching task. Based on this, a mathematical-model-based categorization of the methods is established. Datasets used for evaluating the methods are investigated with respect to the challenges, and evaluation metrics are studied. Quantitative results of experiments in the literature are analyzed to show which category of methods best performs across what types of challenges. The analyses are further extended comparing two methods, which are our own implementations, so that the outcomes from the public results are further solidified. Current position of the field is summarized regarding object pose recovery, and possible research directions are identified.

研究动机与目标

• 提供从3D边界框检测到完整6D姿态估计的物体姿态恢复方法的系统性且最新的综述。
• 基于其底层问题建模（如分类、回归等）建立一种新颖的基于数学模型的分类体系。
• 分析方法在多样化数据集和评估指标上的表现，尤其关注遮挡、杂乱和对称性等挑战的影响。
• 通过公共基准和自定义实现对比最先进方法，以验证并巩固报告结果。
• 识别当前局限性并提出未来研究方向，尤其针对类别级6D姿态估计和类内变化的鲁棒性。

提出的方法

• 根据其数学建模方式对物体姿态恢复方法进行分类：分类、回归、分类与回归结合、模板匹配以及点对特征匹配。
• 使用重力对齐的RGB或RGB-D图像在KITTI、NYU-Depth v2和SUN RGB-D等数据集上评估3D边界框检测器。
• 在提供真实6D姿态的实例级数据集（如LINEMOD、T-LESS和MULT-I）上分析6D姿态估计器。
• 采用两种评估指标：平均距离（AD）和基于可见性的相似距离（VSD），其中VSD被证明在处理对称物体歧义时更具鲁棒性。
• 通过消融研究优化超参数（δ, τ, t），以提升检测与匹配性能，确定最优参数为δ=20, τ=100, t=0.5。
• 通过自定义实现LCHF和Linemod方法，与公共基准对比结果，以强化结论的可靠性。

实验结果

研究问题

• RQ1 在不同数学建模方法（如分类、回归、特征匹配）之间，其在物体姿态恢复任务中的性能表现如何比较？
• RQ2 哪些关键挑战（如遮挡、杂乱和对称性）最显著地降低6D姿态估计的性能？
• RQ3 AD与VSD等评估指标在鲁棒性上存在哪些差异，特别是在对称物体场景中？
• RQ4 在标准基准上，3D边界框检测器与完整6D姿态估计器之间存在多大的性能差距？
• RQ5 在仅使用RGB图像训练的端到端深度学习模型能否超越依赖深度或3D模型的传统方法？

主要发现

• VSD指标在处理对称物体时优于AD，因其对歧义不敏感，即使在AD因物体对称性导致误报时，仍能接受对可见部分的正确预测。
• 检测流程的最优超参数为δ=20, τ=100, t=0.5，在视觉和定量评估中均实现了最高召回率。
• 点对特征匹配方法在BOP挑战中表现优异，但受遮挡和杂乱影响显著，尤其在复杂场景中性能下降明显。
• 基于深度学习的方法，特别是仅使用RGB图像训练的端到端CNN，已成为主导范式，优于传统模板和特征匹配方法。
• LINEMOD数据集在AD和VSD评估中均表现出最佳性能，而OCC数据集因高遮挡程度成为最大挑战。
• 当前6D姿态估计主要局限于实例级预测；类别级估计仍发展不足，仅有近期方法如ISA和归一化物体坐标空间网络展现出前景。