[论文解读] Detect-to-Retrieve: Efficient Regional Aggregation for Image Search

Marvin Teichmann, André Araujo+2 more|arXiv (Cornell University)|Dec 4, 2018

Advanced Image and Video Retrieval Techniques参考文献 40被引用 4

一句话总结

本文提出 Detect-to-Retrieve 方法，利用训练好的地标检测器选择相关图像区域，实现高效且准确的图像检索。通过应用一种新型的区域聚合选择性匹配核（R-ASMK），在不增加维度的情况下提升检索准确率，在 Revisited Oxford-Hard 上超越先前方法 9.3%，在 Revisited Paris-Hard 上提升 1.9%，同时使用了一个包含 86,000 个手动标注地标边界框的新数据集。

ABSTRACT

Retrieving object instances among cluttered scenes efficiently requires compact yet comprehensive regional image representations. Intuitively, object semantics can help build the index that focuses on the most relevant regions. However, due to the lack of bounding-box datasets for objects of interest among retrieval benchmarks, most recent work on regional representations has focused on either uniform or class-agnostic region selection. In this paper, we first fill the void by providing a new dataset of landmark bounding boxes, based on the Google Landmarks dataset, that includes $86k$ images with manually curated boxes from $15k$ unique landmarks. Then, we demonstrate how a trained landmark detector, using our new dataset, can be leveraged to index image regions and improve retrieval accuracy while being much more efficient than existing regional methods. In addition, we introduce a novel regional aggregated selective match kernel (R-ASMK) to effectively combine information from detected regions into an improved holistic image representation. R-ASMK boosts image retrieval accuracy substantially with no dimensionality increase, while even outperforming systems that index image regions independently. Our complete image retrieval system improves upon the previous state-of-the-art by significant margins on the Revisited Oxford and Paris datasets. Code and data available at the project webpage: https://github.com/tensorflow/models/tree/master/research/delf.

研究动机与目标

• 为解决在图像中检索小型或杂乱物体的挑战，通过改进检索的区域选择方法。
• 减少现有区域搜索方法中因使用均匀或类别无关区域选择而导致的低效与高内存开销。
• 开发一种利用物体语义聚焦索引相关区域的方法，在计算开销最小化的情况下提升准确率。
• 引入一个包含 86,000 个手动标注地标边界框的新数据集，以支持训练鲁棒的物体检测器用于检索。
• 设计一种区域聚合机制，通过检测到的区域增强整体图像表征，同时不增加描述符维度。

提出的方法

• 该方法引入了一个包含 86,000 张图像的新数据集，为 15,000 个唯一地标提供手动精心标注的边界框，支持训练高精度的地标检测器。
• 使用训练好的物体检测器（Faster R-CNN 和 SSD）识别图像中的显著区域，替代固定或类别无关的区域选择方式。
• 区域聚合选择性匹配核（R-ASMK）通过求和池化和每视觉词的归一化，将每个区域的 VLAD 描述符组合，生成统一且具有判别力的图像表征。
• R-ASMK 根据局部特征在检测区域内的空间位置重新加权，增强显著区域中特征的相关性。
• 系统使用深度局部特征（DELF），并应用 R-ASMK 改进检索过程中的相似性估计，同时不增加描述符大小。
• 该方法将基于区域的表征学习与选择性匹配核相结合，实现在图像检索流程中的高效过滤与重排序。

实验结果

研究问题

• RQ1 与固定或类别无关的方法相比，训练好的物体检测器是否能在杂乱场景中提升图像检索的区域选择性能？
• RQ2 是否可以通过感知区域的表征在不增加描述符维度的情况下提升检索准确率？
• RQ3 通过专用检测模型利用物体语义是否能在 Revisited Oxford 和 Paris 等标准基准上带来更好的性能表现？
• RQ4 与独立区域索引和全局表征方法相比，所提出的 R-ASMK 核在准确率与效率方面表现如何？
• RQ5 人工标注的地标边界框数据集在多大程度上提升了检测器的泛化能力与检索性能？

主要发现

• 所提方法在 Revisited Oxford-Hard 数据集上将平均平均精度提升 9.3 个百分点，显著超越先前最先进方法。
• 在 Revisited Paris-Hard 数据集上，该方法相比先前方法实现了 1.9 个百分点的平均平均精度绝对提升。
• R-ASMK 核优于独立索引区域的系统，即使在不增加描述符维度的情况下也表现更优。
• 训练后的地标检测器在 600,000 次训练步后达到约 85% 的 mAP，SSD 基础模型表现出更快的收敛速度和略优的性能，优于 Faster R-CNN。
• 可视化结果表明，检测器聚焦于显著地标，而 RMAC 和 Selective Search 生成的区域相关性较低或对齐不佳。
• 该方法保持高效，仅带来适度的数据库大小增加，同时在准确率上实现对现有区域搜索技术的显著提升。