[论文解读] An accurate retrieval through R-MAC+ descriptors for landmark recognition

Federico Magliani, Andrea Prati|arXiv (Cornell University)|Jun 22, 2018

Advanced Image and Video Retrieval Techniques参考文献 27被引用 5

一句话总结

本文提出R-MAC+描述符，通过改进区域检测并引入一种基于'db regions'（数据库图像中的代表性区块）的新检索方法，显著提升了地标识别的准确率。该方法在Holidays数据集上达到最先进mAP表现，在Oxford5k和Paris6k数据集上也取得具有竞争力的结果，且无需微调，相较于R-MAC在这些基准上分别提升了+7%和+3%。

ABSTRACT

The landmark recognition problem is far from being solved, but with the use of features extracted from intermediate layers of Convolutional Neural Networks (CNNs), excellent results have been obtained. In this work, we propose some improvements on the creation of R-MAC descriptors in order to make the newly-proposed R-MAC+ descriptors more representative than the previous ones. However, the main contribution of this paper is a novel retrieval technique, that exploits the fine representativeness of the MAC descriptors of the database images. Using this descriptors called "db regions" during the retrieval stage, the performance is greatly improved. The proposed method is tested on different public datasets: Oxford5k, Paris6k and Holidays. It outperforms the state-of-the- art results on Holidays and reached excellent results on Oxford5k and Paris6k, overcame only by approaches based on fine-tuning strategies.

研究动机与目标

• 通过改进区域检测与多分辨率特征提取，提升R-MAC描述符的代表性。
• 通过在查询匹配过程中利用数据库图像中的判别性区域，解决标准R-MAC检索的局限性。
• 开发一种在保持效率的同时提升准确率的检索方法，适用于移动设备与实时应用。
• 在不依赖昂贵微调策略的前提下，实现在公开基准上的最先进性能。
• 通过自适应网格与基于区域的匹配，改善特征定位与匹配保真度，缩小地标识别中的语义鸿沟。

提出的方法

• 提出一种基于自适应网格的区域检测器，保持图像宽高比，以更精确地定位显著特征，用于MAC描述符计算。
• 通过使用更大的特征图来增强多分辨率R-MAC方法，提升空间分辨率与特征判别能力。
• 提出一种新颖的检索策略：不将查询描述符与完整描述符匹配，而是与从数据库图像中提取的单个'db regions'（代表性区块）进行匹配。
• 在检索过程中，将数据库图像中最具判别性的区域（db regions）作为参考点，相比全局描述符，显著提升匹配准确率。
• 采用投票机制，每个db regions根据与查询描述符的相似度，对候选图像进行投票，增强对视角与光照变化的鲁棒性。
• 通过重用预先计算的R-MAC描述符，避免对CNN进行重新训练或微调，保持计算效率。

Figure 1. Representation of feature maps extracted from a certain layer of CNN

实验结果

研究问题

• RQ1 与固定网格相比，基于自适应网格的区域检测是否能提升R-MAC描述符的判别能力？
• RQ2 使用多分辨率特征图是否能增强R-MAC描述符在地标识别中的代表性？
• RQ3 与全局描述符相比，将查询描述符与单个数据库区域（'db regions'）匹配，是否能显著提升检索准确率？
• RQ4 所提出的'db regions'检索方法在Oxford5k、Paris6k和Holidays等基准数据集上，与标准R-MAC及最先进方法相比表现如何？
• RQ5 所提方法在不进行预训练CNN微调的情况下，能在多大程度上实现SOTA性能？

主要发现

• 所提出的R-MAC+结合'db regions'检索方法在Holidays数据集上达到94.37%的平均平均精度（mAP），超越所有先前未微调的方法。
• 在Holidays数据集的旋转版本上，该方法达到95.87% mAP，表明其对图像旋转与视角变化具有强大鲁棒性。
• 该方法在Oxford5k上使R-MAC性能提升+7% mAP（85.39% vs. 77.30%），在Paris6k上提升+3% mAP（91.90% vs. 86.50%），且无需微调。
• 'db regions'检索策略在Oxford5k和Paris6k上显著提升性能，表明局部化、具有代表性的区域比全局描述符更适用于匹配任务。
• 即使未使用查询扩展或微调，该方法仍取得具有竞争力的结果——仅在Oxford5k和Paris6k上被Gordo等人（2017）的微调模型超越。
• 所提方法与R-MAC（Gordo等人）之间的性能差距在查询扩展前后保持一致，表明核心改进源于描述符与检索设计本身。

Figure 3. Pipeline of creation of ”db regions” for the db images