[论文解读] Lending Orientation to Neural Networks for Cross-view Geo-localization

Liu Liu, Hongdong Li|arXiv (Cornell University)|Mar 29, 2019

Advanced Image and Video Retrieval Techniques参考文献 27被引用 11

一句话总结

该论文提出OriCNN，一种孪生卷积神经网络，通过显式地将每个像素的朝向编码为额外的特征图，显著提升了跨视角地理定位的检索准确率。通过引入方向信息，该方法在新的CVACT基准上实现了25.8%的top-1召回率，达到当前最优性能，同时参数量仅为之前方法的1/5。

ABSTRACT

This paper studies image-based geo-localization (IBL) problem using ground-to-aerial cross-view matching. The goal is to predict the spatial location of a ground-level query image by matching it to a large geotagged aerial image database (e.g., satellite imagery). This is a challenging task due to the drastic differences in their viewpoints and visual appearances. Existing deep learning methods for this problem have been focused on maximizing feature similarity between spatially close-by image pairs, while minimizing other images pairs which are far apart. They do so by deep feature embedding based on visual appearance in those ground-and-aerial images. However, in everyday life, humans commonly use {\em orientation} information as an important cue for the task of spatial localization. Inspired by this insight, this paper proposes a novel method which endows deep neural networks with the `commonsense' of orientation. Given a ground-level spherical panoramic image as query input (and a large georeferenced satellite image database), we design a Siamese network which explicitly encodes the orientation (i.e., spherical directions) of each pixel of the images. Our method significantly boosts the discriminative power of the learned deep features, leading to a much higher recall and precision outperforming all previous methods. Our network is also more compact using only 1/5th number of parameters than a previously best-performing network. To evaluate the generalization of our method, we also created a large-scale cross-view localization benchmark containing 100K geotagged ground-aerial pairs covering a city. Our codes and datasets are available at \url{https://github.com/Liumouliu/OriCNN}.

研究动机与目标

• 通过利用朝向作为几何线索，提升基于图像的地理定位性能，该线索在基于深度学习的方法中常被忽略。
• 解决在视角和外观差异显著的情况下，将地面全景图像与地理标签的航拍图像进行匹配的挑战。
• 开发一种轻量化、可插拔的模块化方法，通过朝向感知的特征学习增强特征的判别能力。
• 构建一个大规模、全GPS标签的跨视角数据集（CVACT），用于城市尺度地理定位的基准测试。
• 证明几何先验（如朝向）可显著提升深度神经网络在视觉任务中的泛化能力。

提出的方法

• 该方法从全景图像中每个像素的球坐标中提取逐像素朝向图，作为CNN的附加输入通道。
• 采用孪生CNN架构，联合学习视觉外观与朝向几何特征，使用对比损失函数，使正样本对的相似度最大化，负样本对的相似度最小化。
• 朝向图通过全景图像中每个像素的方位角计算得到，为整个360°视场提供方向上下文信息。
• 网络在大规模地面到航拍图像对数据集上端到端训练，朝向图作为独立的输入流注入。
• 该方法具有模块化特性，可轻松集成到其他需要几何感知能力的视觉任务的现有深度学习流程中。
• 提出一种新型损失函数，结合外观与朝向监督，提升特征的紧凑性与判别能力。

实验结果

研究问题

• RQ1 显式编码每个像素的朝向是否能提升深度神经网络在跨视角地理定位任务中的性能？
• RQ2 引入如朝向等几何线索如何影响所学习深度特征的判别能力？
• RQ3 是否可以有效利用轻量级朝向图在不增加模型复杂度的前提下提升性能？
• RQ4 所提出方法在大规模城市级地理定位任务中是否具有良好的泛化能力？
• RQ5 朝向信息在多大程度上减少了将地面图像与卫星影像匹配时的歧义性？

主要发现

• 所提出的OriCNN方法在CVACT基准上实现了25.8%的top-1召回率，相比之前最先进方法CVM-net提升了15.84%。
• 与无朝向编码的基线模型相比，该方法在top-1召回率上提升超过25%，证明了几何线索带来的显著判别增益。
• 该模型参数量仅为之前性能最佳网络的1/5，表明其具有极高的效率。
• CVACT数据集包含覆盖堪培拉300平方英里区域的92,802对测试图像，相比CVUSA提供了更大规模且更真实的基准。
• 该数据集显示，当前方法仅有19.90%的查询能在5米范围内被精确定位，凸显了任务的难度与对更优模型的迫切需求。
• 消融实验表明，即使在外观特征固定的情况下，仅靠朝向编码也能带来显著的性能提升。