[论文解读] Indexing of CNN Features for Large Scale Image Search

Ruoyu Liu, Yao Zhao+2 more|arXiv (Cornell University)|Aug 2, 2015

Advanced Image and Video Retrieval Techniques参考文献 77被引用 13

一句话总结

该论文提出了一种基于倒排表的索引框架 IFC，用于通过 CNN 特征加速大规模图像检索。通过利用多词袋分配和哈希嵌入码，IFC 在精度损失最小的情况下将搜索时间减少了高达 17 倍，在多个基准测试中优于暴力搜索和现有哈希方法。

ABSTRACT

The convolutional neural network (CNN) features can give a good description of image content, which usually represent images with unique global vectors. Although they are compact compared to local descriptors, they still cannot efficiently deal with large-scale image retrieval due to the cost of the linear incremental computation and storage. To address this issue, we build a simple but effective indexing framework based on inverted table, which significantly decreases both the search time and memory usage. In addition, several strategies are fully investigated under an indexing framework to adapt it to CNN features and compensate for quantization errors. First, we use multiple assignment for the query and database images to increase the probability of relevant images' co-existing in the same Voronoi cells obtained via the clustering algorithm. Then, we introduce embedding codes to further improve precision by removing false matches during a search. We demonstrate that by using hashing schemes to calculate the embedding codes and by changing the ranking rule, indexing framework speeds can be greatly improved. Extensive experiments conducted on several unsupervised and supervised benchmarks support these results and the superiority of the proposed indexing framework. We also provide a fair comparison between the popular CNN features.

研究动机与目标

• 解决在大规模图像检索中索引全局 CNN 特征所带来的高计算和存储成本问题。
• 将原本专为局部特征（如 SIFT）设计的倒排表结构适配到紧凑的全局 CNN 特征向量的高效索引中。
• 通过多分配和嵌入码减少 CNN 基础检索中的量化误差和错误匹配。
• 通过将哈希方案集成到索引框架中，实现在保持高精度的同时加速搜索速度。
• 在统一且可扩展的索引框架下，对多种流行 CNN 特征进行公平比较。

提出的方法

• 该框架采用倒排表结构，其中每个 CNN 特征向量通过聚类映射到多个词袋，从而提高相关图像在相同 Voronoi 单元中共同出现的概率。
• 对特征向量应用多词袋分配，以在检索过程中提高召回率并减少量化误差。
• 通过哈希方案（例如 VDSH）计算嵌入码，以优化匹配并过滤搜索过程中的假阳性结果。
• 修改排序规则，基于组合的词袋和嵌入码相似度优先选择候选结果，从而提高精度。
• 该框架支持无监督和有监督的哈希方法，以 VDSH 作为集成的案例研究。
• 通过用二进制嵌入码上的快速位运算替代完整的向量比较，提升搜索效率。

实验结果

研究问题

• RQ1 倒排表索引结构能否被有效适配以加速全局 CNN 特征的检索？
• RQ2 如何通过多词袋分配改善基于 CNN 的索引中的检索精度并减少量化误差？
• RQ3 基于哈希的嵌入码在多大程度上能提升精度，同时保持检索速度？
• RQ4 在大规模基准测试中，所提出的 IFC 框架与暴力搜索和现有哈希方法相比，在速度和精度方面表现如何？
• RQ5 该索引框架的性能是否依赖于用于特征提取的基础 CNN 架构？

主要发现

• 在 NUS-WIDE+Flickr1M 数据集上，IFC 框架的搜索速度比 VDSH 快达 17 倍，mAP 仅下降 5%。
• 在 Oxford 和 Paris 数据集上，IFC-VDSH 保持了高精度，mAP 分别达到 0.5865 和 0.5915，同时将每次查询的搜索时间减少到 0.1 秒以内。
• 多词袋分配显著提高了召回率，通过增加相关图像出现在同一 Voronoi 单元中的概率。
• 通过 VDSH 使用嵌入码可减少错误匹配并提高精度，尤其在高维 CNN 特征空间中效果显著。
• 该框架表现出强大的适应性，在包括 AlexNet、VGG16、VGG19、GoogLeNet 和 ResNets 在内的多种 CNN 架构上均展现出一致的性能提升。
• 内存使用显著减少，因为框架仅存储图像 ID 和紧凑的二进制嵌入码，适用于大规模部署。