[论文解读] Contextual Similarity Aggregation with Self-attention for Visual Re-ranking

Jianbo Ouyang, Hui Wu+3 more|arXiv (Cornell University)|Oct 26, 2021

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

本文提出了一种基于自注意力机制的视觉重排序方法，通过聚合排名靠前图像之间的上下文相似性来提升实例图像检索性能。该方法通过计算与前-L个锚点图像的相似性来构建亲和特征，利用Transformer编码器捕捉图像间的上下文关系以优化特征，再通过优化后的特征对候选图像进行重排序——在四个基准数据集上实现了SOTA性能，且计算开销极低。

ABSTRACT

In content-based image retrieval, the first-round retrieval result by simple visual feature comparison may be unsatisfactory, which can be refined by visual re-ranking techniques. In image retrieval, it is observed that the contextual similarity among the top-ranked images is an important clue to distinguish the semantic relevance. Inspired by this observation, in this paper, we propose a visual re-ranking method by contextual similarity aggregation with self-attention. In our approach, for each image in the top-K ranking list, we represent it into an affinity feature vector by comparing it with a set of anchor images. Then, the affinity features of the top-K images are refined by aggregating the contextual information with a transformer encoder. Finally, the affinity features are used to recalculate the similarity scores between the query and the top-K images for re-ranking of the latter. To further improve the robustness of our re-ranking model and enhance the performance of our method, a new data augmentation scheme is designed. Since our re-ranking model is not directly involved with the visual feature used in the initial retrieval, it is ready to be applied to retrieval result lists obtained from various retrieval algorithms. We conduct comprehensive experiments on four benchmark datasets to demonstrate the generality and effectiveness of our proposed visual re-ranking method.

研究动机与目标

• 通过利用排名靠前图像之间的上下文相似性来提升实例图像检索性能，而这类信息在基于成对相似性的重排序方法中常被忽略。
• 开发一种与原始视觉特征提取流程无关的重排序方法，以实现与多种检索算法的兼容性。
• 通过一种新颖的数据增强方案提升模型的鲁棒性与泛化能力。
• 通过避免对整个数据库的操作，仅与top-K检索列表规模成比例，实现高性能与低计算成本。

提出的方法

• 通过测量top-K图像与从top-L结果中选取的L个锚点图像之间的相似性，为每个top-K图像计算亲和特征。
• 通过注意力机制动态优化亲和特征，使模型能够关注其他top-K候选图像，基于亲和特征之间的相似性建模上下文关系。
• 使用对比损失进行训练，以增强相关图像之间的相似性，同时使用MSE损失保留原始亲和特征，防止过拟合。
• 引入一种新的数据增强策略，以提升训练过程中模型的泛化能力并减少过拟合。
• 推理阶段，利用优化后的亲和特征重新计算查询图像与top-K候选图像之间的余弦相似度得分，完成最终排序。
• 该方法与初始检索特征无关，可无缝集成到任意检索流程中。

实验结果

研究问题

• RQ1 建模排名靠前图像之间的上下文相似性是否能超越成对相似性，进一步提升视觉重排序性能？
• RQ2 自注意力机制如何有效聚合来自多个排名靠前图像的上下文信息，以优化重排序得分？
• RQ3 能否设计一种与初始特征提取方法无关但性能依然优异的重排序模型？
• RQ4 新颖的数据增强方案对重排序模型的鲁棒性与泛化能力有何影响？
• RQ5 与现有重排序方法相比，该方法在效率与可扩展性方面表现如何，特别是在大规模数据库上的表现？

主要发现

• 所提方法在四个基准数据集上均达到SOTA性能，在多数设置下优于现有重排序方法，包括LAttQE、DFS和GSS。
• 该方法在性能上优于LAttQE（一种领先的基于查询扩展的方法），证明了上下文相似性聚合的有效性。
• 当与DFS或GSS结合使用时，所提重排序方法能进一步提升检索性能，表明其具有良好的兼容性与互补性。
• 采用数据增强的模型性能优于基线模型，证实了所提增强策略的有效性。
• 与SOTA方法（如DFS和GSS）相比，该方法的时间与内存复杂度更低，延迟与数据库大小无关，仅随top-K列表规模线性增长。