[论文解读] Large-Scale Query-by-Image Video Retrieval Using Bloom Filters

André Araújo, Jason Chaves+3 more|arXiv (Cornell University)|Apr 27, 2016

Advanced Image and Video Retrieval Techniques被引用 14

一句话总结

本文提出了一种基于布隆过滤器的框架，用于大规模基于图像的视频检索，实现了查询图像与长视频片段（场景）而非单个帧或镜头的高效比较。通过结合费雪嵌入与量化布隆过滤器，该方法在大规模数据集上的平均平均精度提高了24%，检索速度提升了4倍，优于以往最先进系统。

ABSTRACT

We consider the problem of using image queries to retrieve videos from a database. Our focus is on large-scale applications, where it is infeasible to index each database video frame independently. Our main contribution is a framework based on Bloom filters, which can be used to index long video segments, enabling efficient image-to-video comparisons. Using this framework, we investigate several retrieval architectures, by considering different types of aggregation and different functions to encode visual information -- these play a crucial role in achieving high performance. Extensive experiments show that the proposed technique improves mean average precision by 24% on a public dataset, while being 4X faster, compared to the previous state-of-the-art.

研究动机与目标

• 解决大规模视频检索中的可扩展性挑战，其中由于内存和延迟成本过高，基于帧或镜头的索引变得不可行。
• 通过索引整个视频场景而非单个帧或镜头，实现高效的图像到视频检索。
• 克服以往基于场景方法的局限性，例如因线性搜索导致的低准确率和高查询延迟。
• 设计一种可扩展的检索流水线，利用布隆过滤器实现快速、紧凑且概率性的场景索引，同时保持高检索准确率。
• 在内容和查询特征各异的多样化大规模数据集上，验证所提方法的有效性。

提出的方法

• 通过将视觉特征的费雪向量嵌入与量化哈希函数结合，将视频场景表示为紧凑的概率性布隆过滤器编码。
• 使用多个哈希函数将视觉描述符映射到布隆过滤器内的位位置，从而实现高效的集合成员查询，用于相似性比较。
• 采用基于量化器的哈希方案，将高维视觉特征映射为离散索引，进而用于确定布隆过滤器中的位位置。
• 引入两阶段检索流水线：首先，将查询图像与场景级布隆过滤器进行比较，以获取候选场景的短名单；其次，通过镜头级和帧级比较对结果进行精炼。
• 在实验中，所有方法均采用倒排索引结构，以确保在大规模环境中实现实际的低延迟性能。
• 通过评估不同的特征聚合策略和哈希函数对系统进行优化，确定基于量化器的哈希与点索引描述符的组合为最有效的配置。

实验结果

研究问题

• RQ1 在大规模设置下，布隆过滤器能否有效用于表示长视频片段，以实现高效的图像到视频检索？
• RQ2 当与布隆过滤器结合时，不同的视觉特征编码策略（例如费雪向量、聚合类型）如何影响检索准确率？
• RQ3 在基于图像的视频检索背景下，布隆过滤器的最优哈希方案是什么——具体而言，基于量化器的哈希与其它方法相比如何？
• RQ4 与基于帧或镜头的索引相比，通过布隆过滤器实现的场景级索引在多大程度上能降低检索延迟和内存使用？
• RQ5 所提方法在内容类型、查询特征和场景结构各异的多样化数据集上表现如何？

主要发现

• 所提出的基于布隆过滤器的方法在公开数据集上相比之前最先进方法，平均平均精度提高了24%。
• 由于采用了高效的基于布隆过滤器的索引和倒排索引检索，系统检索速度比之前最先进方法快4倍。
• 基于量化器的哈希与点索引描述符的组合在所有测试配置中实现了最高的检索性能。
• 即使在索引整个视频场景（平均时长2–8分钟）的情况下，该方法仍能保持高准确率，显著减少了需精炼的候选片段数量。
• 在三个大规模数据集（SI2V、VB 和 ClassX）上进行的大量实验表明，该方法在多样化内容类型和查询模式下均表现出一致的性能提升。
• 在评估中所有方法均使用倒排索引结构，确保了实际的低延迟性能，验证了所提方法的可扩展性。