[论文解读] Cross-View Image Matching for Geo-localization in Urban Environments

Yicong Tian, Chen Chen+1 more|arXiv (Cornell University)|Mar 22, 2017

Advanced Image and Video Retrieval Techniques被引用 8

一句话总结

该论文提出了一种基于建筑物匹配与主导集方法的深度学习框架，用于跨视角图像地理定位。通过使用Faster R-CNN进行检测，并利用孪生网络进行特征学习，该方法在新提出的跨视角数据集上实现了更高的精度和泛化能力，优于基线方法，尤其在未见过的城市中表现优异。

ABSTRACT

In this paper, we address the problem of cross-view image geo-localization. Specifically, we aim to estimate the GPS location of a query street view image by finding the matching images in a reference database of geo-tagged bird's eye view images, or vice versa. To this end, we present a new framework for cross-view image geo-localization by taking advantage of the tremendous success of deep convolutional neural networks (CNNs) in image classification and object detection. First, we employ the Faster R-CNN to detect buildings in the query and reference images. Next, for each building in the query image, we retrieve the $k$ nearest neighbors from the reference buildings using a Siamese network trained on both positive matching image pairs and negative pairs. To find the correct NN for each query building, we develop an efficient multiple nearest neighbors matching method based on dominant sets. We evaluate the proposed framework on a new dataset that consists of pairs of street view and bird's eye view images. Experimental results show that the proposed method achieves better geo-localization accuracy than other approaches and is able to generalize to images at unseen locations.

研究动机与目标

• 解决在城市环境中，利用鸟瞰图参考数据库对街景图像进行地理定位，反之亦然的挑战。
• 克服由于视角差异、光照变化和季节性变化导致的跨视角图像之间的视觉与几何差异。
• 通过利用多个最近邻的全局一致性，提升地理定位精度，超越单一最近邻匹配方法。
• 在特征空间中利用主导集，开发一种高效且鲁棒的多最近邻匹配方法。
• 评估方法在未见过的城市中的泛化能力，并证明所学习表征的可迁移性。

提出的方法

• 使用Faster R-CNN检测查询图像和参考图像中的建筑物，实现语义与结构对齐。
• 在成对的正样本和负样本建筑物图像裁剪区域上训练孪生卷积神经网络，以学习共享的、判别性强的特征空间。
• 在学习到的特征空间中执行k-最近邻检索，为每个查询建筑物找到候选匹配。
• 应用基于主导集的算法，识别出与查询最匹配的一组连贯且紧凑的参考建筑物，以强制实现全局一致性。
• 将主导集中建筑物的平均GPS坐标作为最终的地理定位估计结果。
• 使用一个新的大规模跨视角数据集（包含配对的街景图像与鸟瞰图图像）进行训练与评估。

实验结果

研究问题

• RQ1 与传统局部特征匹配方法相比，基于深度学习的建筑物检测与匹配能否显著提升跨视角地理定位的准确性？
• RQ2 与依赖单一最近邻的方法相比，基于主导集的多最近邻匹配在提升地理定位鲁棒性方面有多有效？
• RQ3 所提出的方法能否泛化到训练过程中未见过的城市，表明所学习表征的鲁棒性？
• RQ4 在准确率与效率方面，主导集方法与替代的多匹配方法（如GMCP）相比表现如何？
• RQ5 在跨视角地理定位任务中，基于建筑物的匹配是否优于全图匹配？

主要发现

• 所提方法在可见城市和不可见城市上均显著优于基于SIFT的基线方法，地理定位精度更高。
• 与全图匹配相比，使用建筑物匹配可提升性能，尤其在视角变化大、结构复杂的城区环境中表现更优。
• 基于主导集的多最近邻匹配方法在准确率与计算效率方面均优于GMCP，尤其当k值和NC值增大时优势更明显。
• 该方法在曼哈顿等未见城市中表现良好，证明了所学特征具有良好的跨域迁移能力。
• 在新提出的跨视角数据集上，该方法在多个误差阈值下均表现优异，尤其在低误差阈值下的召回率有显著提升。
• 由于建筑物特征具有语义性且结合了深度特征学习，该框架对视角变化、光照差异和季节性变化具有鲁棒性。