[论文解读] Image Retrieval using Heat Diffusion for Deep Feature Aggregation

Shanmin Pang, Jin Ma+3 more|arXiv (Cornell University)|May 22, 2018

Advanced Image and Video Retrieval Techniques被引用 2

一句话总结

本文提出一种基于热扩散的深度特征聚合与图像重排序方法，将特征建模为热源，以抑制突发性特征并提升表征多样性。该方法在使用预训练和微调网络的公开基准上均取得了当前最优性能。

ABSTRACT

Image retrieval based on deep convolutional features has demonstrated state-of-the-art performance in popular benchmarks. In this paper, we present a unified solution to address deep convolutional feature aggregation and image re-ranking by simulating the dynamics of heat diffusion. A distinctive problem in image retrieval is that repetitive or \emph{bursty} features tend to dominate final image representations, resulting in representations less distinguishable. We show that by considering each deep feature as a heat source, our unsupervised aggregation method is able to avoid over-representation of \emph{bursty} features. We additionally provide a practical solution for the proposed aggregation method and further show the efficiency of our method in experimental evaluation. Inspired by the aforementioned deep feature aggregation method, we also propose a method to re-rank a number of top ranked images for a given query image by considering the query as the heat source. Finally, we extensively evaluate the proposed approach with pre-trained and fine-tuned deep networks on common public benchmarks and show superior performance compared to previous work.

研究动机与目标

• 解决在检索系统中突发性深度特征主导图像表征的问题。
• 开发一种无监督的深度特征聚合方法，以减少重复特征的过度表征。
• 提出一种基于热扩散动力学的实用且高效的特征聚合解决方案。
• 通过将查询图像视为热源，将热扩散框架扩展至图像重排序。
• 在使用预训练和微调网络的标准图像检索基准上，展示优越性能。

提出的方法

• 将每个深度卷积特征建模为热源，通过在特征间模拟热扩散过程来聚合表征。
• 利用热扩散过程自然地抑制突发性特征，使热量在特征空间中更均匀地分布。
• 将特征聚合形式化为由特征相似性导出的扩散矩阵所控制的扩散过程。
• 通过将查询图像作为初始热源，将相同的扩散动力学应用于重排序前k名检索到的图像。
• 无缝集成到现有检索流程中，无需微调或额外监督。
• 通过利用稀疏矩阵运算和预计算的特征相似性，确保计算效率。

实验结果

研究问题

• RQ1 热扩散动力学是否能有效抑制深度特征表征中的突发性特征，从而改善图像检索？
• RQ2 所提出的无监督聚合方法在表征质量方面与现有聚合技术相比如何？
• RQ3 该扩散框架在多大程度上可应用于图像重排序以提升性能？
• RQ4 当应用于大规模图像检索基准时，该方法是否保持高效性和可扩展性？
• RQ5 该方法在标准基准上对不同预训练和微调深度网络的性能表现如何？

主要发现

• 基于热扩散的聚合方法有效降低了突发性特征的主导性，从而产生更具区分度的图像表征。
• 该方法在常见公开图像检索基准上实现了当前最优性能，优于先前方法。
• 所提出的重排序策略通过利用查询驱动的热扩散动力学，提升了前k名检索的准确性。
• 由于其无监督且轻量级的设计，该方法在计算效率和实际部署方面表现优异。
• 在预训练和微调深度网络上均观察到优越结果，证明了其在不同模型类型间的泛化能力。