[论文解读] Convolutional networks for real-time 6-DOF camera relocalization.

Alex Kendall, Matthew Koichi Grimes+1 more|arXiv (Cornell University)|May 27, 2015

Robotics and Sensor-Based Localization参考文献 22被引用 51

一句话总结

本文提出一种端到端卷积神经网络（CNN），用于实时单目6-DOF相机重定位，在大型户外场景中实现2m和3°的精度，在室内场景中实现0.5m和5°的精度，通过迁移学习和23层深度网络架构，直接从单张RGB图像回归相机位姿，每帧推理时间仅5ms。

ABSTRACT

Figure 1: Convolutional neural network monocular camera relocalization. Relocalization results for an input image (top), the predicted camera pose of a visual reconstruction (middle), shown again overlaid in red on the original image (bottom). Our system relocalizes to within approximately 2m and 3 ◦ for large outdoor scenes spanning 50, 000m2. We present a robust and real-time monocular six de-gree of freedom relocalization system. Our system trains a convolutional neural network to regress the 6-DOF cam-era pose from a single RGB image in an end-to-end man-ner with no need of additional engineering or graph op-timisation. The algorithm can operate indoors and out-doors in real time, taking 5ms per frame to compute. It obtains approximately 2m and 3◦accuracy for large scale outdoor scenes and 0.5m and 5◦accuracy indoors. This is achieved using an efficient 23 layer deep convnet, demon-strating that convnets can be used to solve complicated out of image plane regression problems. This was made possi-ble by leveraging transfer learning from large scale classi-fication data. We show the convnet localizes from high level features and is robust to difficult lighting, motion blur and different camera intrinsics where point based SIFT registra-tion fails. Furthermore we show how the pose feature that is produced generalizes to other scenes allowing us to regress pose with only a few dozen training examples. 1.

研究动机与目标

• 实现仅依赖单张RGB图像、无需特征匹配或图优化的实时、鲁棒的6-DOF相机重定位。
• 解决单目重定位中的挑战，如光照变化、运动模糊以及相机内参差异等问题，这些是传统SIFT方法失效的原因。
• 证明深度CNN仅需几十个训练样本即可泛化到新场景。
• 在真实世界户外和室内环境中实现高精度与低推理延迟（5ms/帧）的部署。

提出的方法

• 训练一个23层深度卷积神经网络，端到端地直接从单张RGB图像回归6-DOF相机位姿（3个平移分量，3个旋转分量）。
• 通过在大规模图像分类数据集上预训练网络，再在重定位任务上微调，实现迁移学习。
• 网络学习到对光照变化、运动模糊和不同相机内参具有鲁棒性的高层视觉特征。
• 位姿回归不依赖显式的几何约束或后处理优化，从而实现实时推理。
• 模型在仅需每场景几十个训练样本的情况下即可泛化到新场景，显著降低部署的数据需求。
• 推理经过优化，可在每帧5ms内完成，支持在标准硬件上实现实时运行。

实验结果

研究问题

• RQ1 深度CNN能否以高精度和低延迟从单张RGB图像回归6-DOF相机位姿？
• RQ2 基于CNN的重定位系统在运动模糊和光照变化等挑战性视觉条件下有多强的鲁棒性？
• RQ3 所学习的位姿特征在仅需少量微调的情况下，能在多大程度上泛化到不同场景？
• RQ4 从大规模分类数据进行迁移学习，能否显著提升在新环境中少样本重定位任务的性能？
• RQ5 与传统的SIFT-based或图优化方法相比，端到端CNN方法在精度和速度方面表现如何？

主要发现

• 系统在覆盖50,000m²的大型户外场景中实现了2m和3°的重定位精度。
• 在室内场景中，系统达到0.5m和5°的精度，表现出在复杂环境中的强大性能。
• 模型每帧计算时间仅5ms，支持在标准硬件上实现实时运行。
• 网络仅需几十个训练样本即可泛化到新场景，显著降低部署所需的数据量。
• 在运动模糊和光照变化等挑战性条件下，该方法优于基于点的SIFT配准。
• 从大规模分类数据进行迁移学习，显著提升了位姿回归任务的性能与鲁棒性。