[论文解读] Deep Stochastic Attraction and Repulsion Embedding for Image Based Localization.

Liu Liu, Hongdong Li+1 more|arXiv (Cornell University)|Aug 27, 2018

Advanced Image and Video Retrieval Techniques参考文献 30被引用 6

一句话总结

本文提出了一种新型损失函数——随机吸引与排斥嵌入（SARE），通过竞争学习提升基于图像的定位性能：它在最大化同一地点图像之间相似性（吸引）的同时，最小化不同地点图像之间的相似性（排斥）。SARE在标准基准测试中显著提升了定位精度，优于使用三元组排序损失的最先进方法。

ABSTRACT

This paper tackles the problem of large-scale image-based localization where the geographical location at which a query image was taken is estimated by retrieving geo-tagged reference images depicting the same place from a large database. For this problem, an important and yet under-researched issue is how to learn discriminative image representations that are best tailored to the task of geo-localization. Aiming to find a novel image representation having higher location-discriminating power, this paper presents the following contributions: 1) we represent a place (location) as a set of exemplar images depicting the same landmarks, instead of some pre-defined geographic locations by partitioning the world; 2) we advocate the use of competitive learning among places, directly via feature embeddings, aiming to maximize similarities among intra-class images while minimizing similarities among inter-class images. This represents a significant departure from the state-of-the-art IBL methods using triplet ranking loss, which only enforces intra-place visual similarities are bigger than inter-place ones; 3) we propose a new Stochastic Attraction and Repulsion Embedding (SARE) loss function to facilitate the competitive learning. Our SARE loss is easy to implement and pluggable to any Convolutional Neural Network. Experiments show that the method improves localization performance on standard benchmarks by a large margin.

研究动机与目标

• 为解决缺乏专为大规模基于图像定位任务设计的判别性图像表征的问题。
• 通过将地点建模为样本图像集合，而非预定义的地理区域，提升定位性能。
• 通过竞争学习实现端到端直接优化特征嵌入，增强类内相似性与类间差异性。
• 开发一种即插即用的损失函数，易于实现且与任何CNN架构兼容。

提出的方法

• 将每个地点表示为一组展示同一地标、带有地理标签的图像，而非将世界划分为固定的地理区域。
• 引入一种竞争学习机制，直接优化特征嵌入，以增强同一地点内的相似性（类内）并减少不同地点之间的相似性（类间）。
• 提出SARE损失函数，通过随机采样锚点、正样本和负样本三元组，在嵌入空间中强制实现吸引与排斥。
• 设计SARE损失使其可微分，并与任何CNN主干网络兼容，从而无缝集成到现有深度学习流程中。
• 使用SARE损失训练模型，学习对地理定位任务高度判别性的特征嵌入。
• 在训练过程中采用随机采样，以提升对图像外观和视角变化的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 将地点建模为样本图像集合而非固定地理区域，是否能提升定位性能？
• RQ2 通过在特征空间中直接优化类内与类间相似性实现的竞争学习，是否优于基于三元组排序损失的图像定位方法？
• RQ3 像SARE这样简单且即插即用的损失函数，是否能在不改变网络架构的前提下显著提升定位精度？
• RQ4 SARE在具有高视觉多样性的大规模真实世界图像数据库中表现如何？

主要发现

• 与使用三元组排序损失的最先进方法相比，SARE损失在标准基准测试中显著提升了定位性能。
• 该方法通过显式建模同一地点图像间的吸引关系以及不同地点图像间的排斥关系，实现了更高的准确率。
• SARE在多样化的真实世界数据集中表现优异，展现出对视觉差异和大规模数据的强鲁棒性。
• 所提出的方法可轻松集成到任何基于CNN的模型中，使其成为基于图像定位任务中实用且强大的工具。
• 实验结果证实，通过SARE实现的竞争学习生成的特征嵌入比传统基于排序的方法更具判别性。
• 该方法在标准基于图像定位基准测试中达到了最先进性能，且显著优于先前方法。