[论文解读] Accurate Vision-based Vehicle Localization using Satellite Imagery

Hang Chu, Hongyuan Mei+2 more|arXiv (Cornell University)|Oct 30, 2015

Robotics and Sensor-Based Localization参考文献 48被引用 10

一句话总结

本文提出了一种基于视觉的车辆定位方法，通过建模地面图像与卫星图像之间的共现概率，利用卫星影像从地面图像中估计车辆的精确位置。该方法引入了一种基于排名损失的特征投影学习技术，在无需密集地面图像数据库的情况下提升了定位精度，在KITTI和Malaga数据集上达到了最先进性能。

ABSTRACT

We propose a method for accurately localizing ground vehicles with the aid of satellite imagery. Our approach takes a ground image as input, and outputs the location from which it was taken on a georeferenced satellite image. We perform visual localization by estimating the co-occurrence probabilities between the ground and satellite images based on a ground-satellite feature dictionary. The method is able to estimate likelihoods over arbitrary locations without the need for a dense ground image database. We present a ranking-loss based algorithm that learns location-discriminative feature projection matrices that result in further improvements in accuracy. We evaluate our method on the Malaga and KITTI public datasets and demonstrate significant improvements over a baseline that performs exhaustive search.

研究动机与目标

• 解决GPS在城市峡谷中因外观变化和感知混淆导致的局限性。
• 通过利用地理参考卫星影像作为参考，而不依赖密集的地面图像数据库，提升车辆定位精度。
• 开发一种方法，估计特定位置处地面图像与卫星图像共现的可能性，从而通过插值实现精确的定位。
• 使用列表式排名损失学习判别性特征投影，增强特征在区分不同地理位置方面的能力。
• 通过在真实世界数据集上的评估，证明方法对分布外查询和低质量GPS真值标签的鲁棒性。

提出的方法

• 构建一个地面-卫星特征字典，使用深度卷积神经网络表示来自地面和卫星图像的视觉特征。
• 估计查询地面图像与候选位置处局部卫星图像之间的共现概率，实现在无需全面匹配地面图像情况下的定位。
• 将定位任务表述为一个排名问题，使用列表式排名损失学习特征投影矩阵，以最大化特征在位置预测中的判别能力。
• 使用学习到的投影矩阵将地面和卫星特征映射到共享嵌入空间，其中相似性反映空间接近程度。
• 将该方法应用于使用采样卫星图像插值车辆路径，即使在地面图像覆盖稀疏的情况下也能实现高精度定位。
• 将系统与粒子滤波器或类似跟踪机制集成，利用时间一致性进一步优化姿态估计，尽管这不是该方法的主要关注点。

实验结果

研究问题

• RQ1 在不依赖密集地面图像数据库的前提下，基于地面与卫星图像之间共现概率的估计能否提升定位精度？
• RQ2 基于排名损失的特征投影学习策略在增强视觉特征在地理定位中的判别能力方面有多有效？
• RQ3 该方法在具有噪声或不准确GPS真值标签的真实世界数据集上，其泛化能力如何？
• RQ4 与全面特征匹配和FAB-MAP相比，该方法在精度、召回率和计算效率方面的表现如何？
• RQ5 当真实GPS数据不可靠或不一致时，该方法是否仍能实现高精度定位？

主要发现

• 在Malaga-Urban数据集上，该方法实现了90.2%的精度和86.6%的召回率，显著优于FAB-MAP（49.3%精度，61.6%召回率）和全面特征匹配（89.4%精度，43.6%召回率）。
• 该方法对低质量GPS真值标签表现出卓越的鲁棒性，即使GPS数据提示不可行路径或错误最近邻匹配，仍能实现准确的定位。
• 成功内点匹配的平均定位误差为3.33米（±2.08米），略优于FAB-MAP（3.45米 ± 2.16米）和EFM（3.65米 ± 2.21米），尽管真值质量限制了强结论的得出。
• 基于排名损失的特征投影学习通过增强特征在不同地理位置间的判别性，提升了定位精度。
• 全面特征匹配（EFM）虽然精度较高，但在大规模环境中的实时应用计算上不可行，凸显了所提方法在效率方面的优势。
• 随着真值数据质量的提高，该方法的性能有望进一步提升，KITTI数据集上的更优结果已证明这一点，因为该数据集的GPS精度更高。