[论文解读] GeoCapsNet: Aerial to Ground view Image Geo-localization using Capsule Network

Bin Sun, Chen Chen+2 more|arXiv (Cornell University)|Apr 12, 2019

Advanced Image and Video Retrieval Techniques参考文献 2被引用 7

一句话总结

GeoCapsNet 提出了一种基于胶囊网络的跨视角图像地理定位方法，通过分层特征编码和带在线批量难样本挖掘的加权软边缘三元组损失，将地面视角图像与带GPS标签的航空影像匹配。该方法在两个基准数据集上实现了最先进性能，显著优于先前方法的检索准确率。

ABSTRACT

The task of cross-view image geo-localization aims to determine the geo-location (GPS coordinates) of a query ground-view image by matching it with the GPS-tagged aerial (satellite) images in a reference dataset. Due to the dramatic changes of viewpoint, matching the cross-view images is challenging. In this paper, we propose the GeoCapsNet based on the capsule network for ground-to-aerial image geo-localization. The network first extracts features from both ground-view and aerial images via standard convolution layers and the capsule layers further encode the features to model the spatial feature hierarchies and enhance the representation power. Moreover, we introduce a simple and effective weighted soft-margin triplet loss with online batch hard sample mining, which can greatly improve image retrieval accuracy. Experimental results show that our GeoCapsNet significantly outperforms the state-of-the-art approaches on two benchmark datasets.

研究动机与目标

• 解决地面视角与航空影像之间存在显著视角差异的跨视角图像地理定位挑战。
• 克服传统卷积神经网络在建模空间层次结构和视角不变性方面用于地理定位的局限性。
• 通过胶囊网络编码空间关系的能力，提升跨视角图像匹配的特征表示学习。
• 通过一种新型损失函数结合在线批量难样本挖掘，增强模型泛化能力和检索准确率。
• 开发一种紧凑高效的模型，适用于大规模地理定位应用。

提出的方法

• 使用标准卷积层从地面视角和航空影像中提取初始特征。
• 采用胶囊层（PrimaryCaps 和 GeoCaps）编码分层空间关系，提升特征表示的鲁棒性。
• 引入带在线批量难样本挖掘的加权软边缘三元组损失，以优化特征嵌入空间。
• 通过在每个训练批次中选择最困难的正样本对和负样本对，实施批量难样本挖掘，以改善边缘学习。
• 使用配对的跨视角图像（匹配与不匹配）端到端训练网络，以最小化类内距离并最大化类间距离。
• 在两个分支的胶囊层中采用共享权重机制，以促进跨视角关系的一致性学习。

实验结果

研究问题

• RQ1 与标准CNN相比，胶囊网络是否能提升跨视角图像地理定位的特征表示能力？
• RQ2 在线批量难样本挖掘在提升地理定位模型泛化能力和检索准确率方面有多有效？
• RQ3 胶囊网络的分层空间编码能力是否能带来更好的视角不变图像匹配性能？
• RQ4 所提出的加权软边缘三元组损失在跨视角匹配中相比标准三元组损失或孪生损失，优势有多大？
• RQ5 基于胶囊网络的架构能否在参数更少、特征码更短的情况下实现最先进性能？

主要发现

• 在CVUSA数据集上，GeoCapsNet-II 的Top-1%召回率达到了98.07%，显著优于之前最先进方法CVM-Net（Top-1%时为34.56%）。
• 在同一数据集中，GeoCapsNet-II 相较于CVM-Net 将Top-1%召回率提升了20.53个百分点，展现出显著的性能提升。
• 消融实验表明，胶囊层显著提升了特征可分性，当用全连接层替代胶囊层后，Top-1%召回率下降了20.14%。
• 批量难样本挖掘对性能贡献显著，相比标准加权软边缘三元组损失，Top-1%召回率提升了12.2%。
• GeoCapsNet-I 和 GeoCapsNet-II 的参数量分别为6490万和8280万，仅为CVM-Net（1.603亿）的一半，模型更加紧凑。
• GeoCapsNet的特征码长度为2048，仅为CVM-Net（4096）的一半，从而在实际应用中实现更快、更高效的图像检索。