[论文解读] Understanding the Limitations of CNN-based Absolute Camera Pose Regression

Torsten Sattler, Qunjie Zhou+2 more|arXiv (Cornell University)|Mar 18, 2019

Robotics and Sensor-Based Localization参考文献 80被引用 21

一句话总结

本文研究了基于CNN的绝对相机位姿回归（APR）方法为何在性能上落后于基于3D结构的方法。它提出了一种理论模型，表明APR本质上更类似于图像检索而非精确的基于3D几何的位姿估计，并通过实证证明，没有任何已发表的APR方法在性能上能持续优于一个简单的手工设计的图像检索基线，揭示了当前APR在性能和泛化能力方面存在的关键差距。

ABSTRACT

Visual localization is the task of accurate camera pose estimation in a known scene. It is a key problem in computer vision and robotics, with applications including self-driving cars, Structure-from-Motion, SLAM, and Mixed Reality. Traditionally, the localization problem has been tackled using 3D geometry. Recently, end-to-end approaches based on convolutional neural networks have become popular. These methods learn to directly regress the camera pose from an input image. However, they do not achieve the same level of pose accuracy as 3D structure-based methods. To understand this behavior, we develop a theoretical model for camera pose regression. We use our model to predict failure cases for pose regression techniques and verify our predictions through experiments. We furthermore use our model to show that pose regression is more closely related to pose approximation via image retrieval than to accurate pose estimation via 3D structure. A key result is that current approaches do not consistently outperform a handcrafted image retrieval baseline. This clearly shows that additional research is needed before pose regression algorithms are ready to compete with structure-based methods.

研究动机与目标

• 理解基于CNN的绝对位姿回归（APR）方法为何无法达到基于3D结构的定位技术的精度。
• 构建一个理论模型，以解释APR方法的内在机制及其局限性。
• 探究APR与图像检索还是基于3D几何的位姿估计更为相关。
• 评估APR在训练数据分布之外的泛化能力。
• 通过将APR方法与手工设计的图像检索基线进行比较，建立性能基准。

提出的方法

• 构建APR的理论模型，将预测位姿分解为学习到的基线平移和旋转的加权组合。
• 利用该模型分析APR在训练数据分布之外的泛化行为，表明其缺乏鲁棒性的理论保证。
• 使用相同的特征描述符（如DenseVLAD）和检索策略，将APR性能与手工设计的图像检索基线进行对比。
• 在DeepLoc数据集上使用SfM重建生成3D模型，以支持Active Search，实现与基于结构的方法的公平比较。
• 在DeepLoc数据集的原始版本和SfM处理后的版本上，分别评估位姿回归模型和基于检索的方法。
• 使用中位数位置误差和中位数方向误差作为主要指标，比较APR、检索方法和基于结构的方法。

实验结果

研究问题

• RQ1 基于CNN的绝对位姿回归的理论行为与图像检索相比，更接近于3D几何位姿估计吗？
• RQ2 当在训练分布之外的数据上测试时，APR方法的泛化极限是什么？
• RQ3 一个简单且手工设计的图像检索基线是否能在视觉定位任务中超越最先进的基于CNN的APR方法？
• RQ4 APR方法在多大程度上未能利用3D场景结构，与基于结构的方法相比？
• RQ5 当使用一致的3D模型和真实值时，APR的性能与基于结构的方法（如Active Search）相比如何？

主要发现

• 没有任何已发表的单图像位姿回归方法在性能上能持续优于使用DenseVLAD特征的手工设计图像检索基线。
• 最佳APR方法（VLocNet++ MTL）的中位数位置误差为0.32m，而检索基线的误差为0.51m，表明在此设置下基线优于APR。
• 使用3D几何的基于结构的方法Active Search，实现了0.01m（位置）和0.04°（方向）的中位数误差，显著优于所有APR方法。
• DenseVLAD和DenseVLAD+Inter.在DeepLoc数据集的原始版本和SfM处理后的版本上均保持了稳定的性能，证实了基线性能的一致性。
• APR方法在理论上无法保证在训练数据分布之外的泛化能力，因为其预测依赖于学习到的基线位姿，且缺乏对3D结构的显式感知。
• 理论分析确认，APR更接近于通过图像检索进行位姿近似，而非精确的基于3D几何的位姿估计。