[论文解读] Full-Frame Scene Coordinate Regression for Image-Based Localization

Xiaotian Li, Juha Ylioinas+1 more|arXiv (Cornell University)|Feb 9, 2018

Robotics and Sensor-Based Localization参考文献 6被引用 3

一句话总结

本文提出一种基于全卷积编码器-解码器网络的全帧场景坐标回归方法，以提升基于图像定位的鲁棒性与效率。通过利用全局上下文信息及2D/3D数据增强，该方法在具有重复结构的挑战性图像帧上实现了最先进性能，显著优于基于图像块的方法，在准确率与速度方面均表现更优。

ABSTRACT

Image-based localization, or camera relocalization, is a fundamental problem in computer vision and robotics, and it refers to estimating camera pose from an image. Recent state-of-the-art approaches use learning based methods, such as Random Forests (RFs) and Convolutional Neural Networks (CNNs), to regress for each pixel in the image its corresponding position in the scene's world coordinate frame, and solve the final pose via a RANSAC-based optimization scheme using the predicted correspondences. In this paper, instead of in a patch-based manner, we propose to perform the scene coordinate regression in a full-frame manner to make the computation efficient at test time and, more importantly, to add more global context to the regression process to improve the robustness. To do so, we adopt a fully convolutional encoder-decoder neural network architecture which accepts a whole image as input and produces scene coordinate predictions for all pixels in the image. However, using more global context is prone to overfitting. To alleviate this issue, we propose to use data augmentation to generate more data for training. In addition to the data augmentation in 2D image space, we also augment the data in 3D space. We evaluate our approach on the publicly available 7-Scenes dataset, and experiments show that it has better scene coordinate predictions and achieves state-of-the-art results in localization with improved robustness on the hardest frames (e.g., frames with repeated structures).

研究动机与目标

• 解决基于图像块的场景坐标回归在处理具有重复结构的复杂场景时的局限性。
• 通过采用全图输入方式，将全局上下文信息融入坐标预测，提升定位鲁棒性。
• 通过支持高效全帧网络推理，相比逐块处理方式，显著降低推理时间。
• 通过创新的2D与3D数据增强策略，缓解全局上下文学习中的过拟合问题。
• 在7-Scenes基准测试中实现最先进定位准确率，尤其在最具挑战性的图像帧上表现优异。

提出的方法

• 采用全卷积编码器-解码器神经网络，以整幅RGB图像为输入，输出每个像素的密集3D场景坐标。
• 采用两阶段流程：首先通过所提出的Coordinate CNN预测全帧场景坐标，随后在预测的对应点上使用RANSAC估计相机位姿。
• 在2D图像空间（如颜色抖动、裁剪）和3D空间（如随机场景旋转与平移）中应用数据增强，以正则化模型并防止过拟合。
• 使用L2损失函数，对所有像素的预测坐标与真实3D坐标进行端到端训练。
• 通过联合训练与评估，同时优化坐标预测准确率与下游定位性能。
• 利用全帧网络较大的感受野，更好地捕捉场景布局与上下文信息，从而提升在无纹理或对称场景中的泛化能力。

实验结果

研究问题

• RQ1 与基于图像块的方法相比，结合全局上下文的全帧场景坐标回归是否能显著提升定位鲁棒性？
• RQ2 在训练全帧坐标回归网络时，2D与3D联合数据增强在缓解过拟合方面的有效性如何？
• RQ3 所提方法在最具挑战性的图像帧上（尤其是具有重复结构或低纹理的图像）是否表现更优？
• RQ4 与基于图像块的推理相比，全帧架构在多大程度上降低了推理时间？
• RQ5 具备全局上下文的全卷积网络能否生成更准确的中间坐标预测，从而提升最终定位准确率？

主要发现

• 所提出的全帧Coordinate CNN在场景坐标预测中达到90.3%的内点率（vs. DSAC的59.4%），平均误差为28mm，显著优于基于图像块的基线方法。
• 在7-Scenes数据集上的定位性能显示，该方法在更低误差阈值下更快达到100%准确率（累积直方图），尤其在Stairs场景中表现突出。
• 在最困难的图像帧上，该方法的最大平移误差低于0.41m，旋转误差低于13°，而DSAC和[25]的误差常超过2–5m和180°。
• 全帧网络的推理速度比基于图像块的方法快逾10倍（GTX 1080上为0.02s vs. 0.3s），且模型尺寸更小（约120MB），优于基于回归森林的模型（约250MB）。
• 若无数据增强，全帧网络无法实现良好泛化，表明2D与3D增强对训练鲁棒坐标预测至关重要。
• 该方法实现了最先进水平的定位性能，优于所有基于图像块与关键点的方法，尤其在具有重复结构的挑战性场景中表现优异。