[论文解读] 6D Object Pose Estimation Based on 2D Bounding Box

Jin Liu, Sheng He|arXiv (Cornell University)|Jan 27, 2019

Image and Object Detection Techniques参考文献 26被引用 4

一句话总结

本文提出了一种新颖的6D物体位姿估计方法，利用2D物体检测边界框通过单位四元数回归网络（Q-Net）预测3D旋转，并利用一种新型的边界框方程估计3D平移。该方法在LineMod数据集上实现了最先进性能，且无需深度数据或3D点云，其旋转和位姿精度指标均优于先前方法。

ABSTRACT

In this paper, we present a simple but powerful method to tackle the problem of estimating the 6D pose of objects from a single RGB image. Our system trains a novel convolutional neural network to regress the unit quaternion, which represents the 3D rotation, from the partial image inside the bounding box returned by 2D detection systems. Then we propose an algorithm we call Bounding Box Equation to efficiently and accurately obtain the 3D translation, using 3D rotation and 2D bounding box. Considering that the quadratic sum of the quaternion's four elements equals to one, we add a normalization layer to keep the network's output on the unit sphere and put forward a special loss function for unit quaternion regression. We evaluate our method on the LineMod dataset and experiment shows that our approach outperforms base-line and some state of the art methods.

研究动机与目标

• 解决从单张RGB图像进行6D物体位姿估计的挑战，无需深度传感器或3D监督。
• 仅使用2D检测输出，实现对有纹理和无纹理物体的精确位姿估计。
• 开发一种轻量化、高效的框架，与现有2D物体检测器兼容，适用于实时部署。
• 通过专用的归一化层和点积损失函数改进单位四元数回归。
• 提出一种新型边界框方程，利用2D边界框和3D旋转信息，实现高精度的3D平移估计。

提出的方法

• 训练一种新型CNN——Q-Net，从2D边界框内的裁剪图像中回归表示3D旋转的单位四元数。
• 归一化层确保网络输出保持在单位球面上，从而维持四元数约束。
• 设计了一种自定义损失函数——点积损失，用于单位向量回归，以提升训练稳定性和精度。
• 边界框方程利用估计的3D旋转和2D边界框坐标计算3D平移，结合3D模型几何信息（如点云或8个角点）。
• 方法端到端运行：2D检测 → 3D旋转预测 → 3D平移估计 → 完整6D位姿输出。
• 在LineMod数据集上使用完整的3D点云进行评估，并在日常物体上仅使用8个角点进行平移估计。

实验结果

研究问题

• RQ1 能否仅使用2D边界框和无深度数据，从单张RGB图像中准确估计6D物体位姿？
• RQ2 在深度学习框架中，如何改进单位四元数回归以实现更优的3D旋转估计？
• RQ3 能否通过闭式方程高效且准确地从2D边界框和3D旋转中计算3D平移？
• RQ4 所提方法在真实场景中对有纹理和无纹理物体是否具备良好的泛化能力？
• RQ5 在旋转和完整位姿精度方面，该方法与最先进方法相比表现如何？

主要发现

• 在LineMod数据集上，该方法的平均欧拉角误差为5.21°，优于先前方法如[16]（11.48°）和[33]（14.53°）。
• 在LineMod数据集上，该方法在5cm/5°阈值下的成功率达到58.07%，超过[34]的40.60%，展现出强大的泛化能力。
• 对于具有挑战性的eggbox和glue物体，该方法的成功率分别为60.0%和59.6%，优于[34]的57.1%和23.6%。
• 整个流水线在GTX 1080 GPU上仅耗时19ms（其中2D检测16ms，旋转预测2ms，平移估计1ms），表明具备实时可行性。
• 该方法在日常物体（如杯子、收音机、书本）上表现出良好泛化能力，无需3D模型即可实现视觉上准确的位姿预测。
• 消融实验表明，点积损失和归一化层显著提升了单位四元数回归的性能。