[论文解读] 6D Object Pose Estimation without PnP

Jin Liu, Sheng He|arXiv (Cornell University)|Feb 5, 2019

Robotics and Sensor-Based Localization参考文献 22被引用 6

一句话总结

本文提出了一种端到端的6D物体位姿估计方法，通过引入共线方程层（Collinear Equation Layer）在训练过程中回归3D边界框角点的2D投影，从而绕过PnP算法，实现在推理阶段直接预测6D位姿。该方法在GTX 1080Ti上实现了18 ms/推理的实时性能，在LineMod数据集上实现了小于1.67 cm的平移误差和小于2.5°的旋转误差，其精度和效率均优于当前最先进方法。

ABSTRACT

In this paper, we propose an efficient end-to-end algorithm to tackle the problem of estimating the 6D pose of objects from a single RGB image. Our system trains a fully convolutional network to regress the 3D rotation and the 3D translation in region layer. On this basis, a special layer, Collinear Equation Layer, is added next to region layer to output the 2D projections of the 3D bounding boxs corners. In the back propagation stage, the 6D pose network are adjusted according to the error of the 2D projections. In the detection phase, we directly output the position and pose through the region layer. Besides, we introduce a novel and concise representation of 3D rotation to make the regression more precise and easier. Experiments show that our method outperforms base-line and state of the art methods both at accuracy and efficiency. In the LineMod dataset, our algorithm achieves less than 18 ms/object on a GeForce GTX 1080Ti GPU, while the translational error and rotational error are less than 1.67 cm and 2.5 degree.

研究动机与目标

• 消除6D物体位姿估计中PnP算法带来的计算开销和误差传播。
• 通过端到端深度学习框架，实现在单张RGB图像上实时、高精度的6D位姿预测。
• 通过引入新型3D旋转表示和可微分的共线性约束层，提升回归的稳定性和精度。
• 在无需后处理优化或深度传感器的情况下，实现高精度6D位姿估计。
• 在保持高推理速度的同时，扩展YOLOv2以实现直接的6D位姿预测。

提出的方法

• 训练一个全卷积网络，直接在区域层回归3D平移参数（tu, tv, tw）和3D旋转参数（a, b, c）。
• 引入一种新型的共线方程层，用于预测3D边界框角点的2D投影，通过共线性约束强制几何一致性。
• 反向传播利用2D角点投影的误差来更新网络，实现无需PnP的端到端训练。
• 在推理阶段，丢弃共线方程层，6D位姿直接从区域层输出，避免PnP计算。
• 提出一种新型3D旋转表示，以简化回归过程并提升收敛性和精度。
• 在网络训练中，使用RGB图像进行监督，同时对6D位姿和2D角点投影进行监督，实现联合优化。

实验结果

研究问题

• RQ1 是否可以不依赖PnP算法实现6D物体位姿估计，从而提升推理速度并减少误差传播？
• RQ2 如何将3D框角点的共线性等几何约束嵌入为可微分层，以提升回归精度？
• RQ3 新型3D旋转表示是否能增强端到端6D位姿回归的稳定性和精度？
• RQ4 与BB8等多阶段方法相比，从单张RGB图像直接预测6D位姿是否在速度和精度上均更优？
• RQ5 所提方法是否能泛化到多种物体类别，并在消费级GPU上实现实时性能？

主要发现

• 在VOC3D数据集上，该方法的平均2D投影误差为0.928像素，GTX 1080Ti上的推理速度达55 FPS。
• 在LineMod数据集上，该方法的平移误差小于1.67 cm，旋转误差小于2.5度。
• 平均推理时间为每对象17 ms，优于BB8（130 ms）和SSD-6D（20 ms）的推理速度。
• 在所有评估物体上，该方法在2D投影误差和6D位姿精度方面均优于BB8和SS6D。
• 使用共线方程层相比独立回归2D角点，实现了更好的泛化能力与更低的误差方差。
• 该方法无需后处理优化即可实现高精度，展现出强鲁棒性与端到端优化能力。