[论文解读] A Practical Guide to CNNs and Fisher Vectors for Image Instance Retrieval

Vijay Chandrasekhar, Jie Lin+3 more|arXiv (Cornell University)|Aug 11, 2015

Advanced Image and Video Retrieval Techniques参考文献 41被引用 12

一句话总结

本文对图像实例检索中的Fisher向量（Fisher Vectors, FVs）与基于卷积神经网络（Convolutional Neural Network, CNN）的描述符进行了全面的实证比较研究。研究在多个数据集上评估了两种方法，分析了网络结构、训练数据以及对几何变换的不变性影响，并表明通过数据库端池化策略缓解CNN对旋转和缩放的敏感性，可显著提升检索性能，尤其在结合FVs与CNN时效果更佳。

ABSTRACT

With deep learning becoming the dominant approach in computer vision, the use of representations extracted from Convolutional Neural Nets (CNNs) is quickly gaining ground on Fisher Vectors (FVs) as favoured state-of-the-art global image descriptors for image instance retrieval. While the good performance of CNNs for image classification are unambiguously recognised, which of the two has the upper hand in the image retrieval context is not entirely clear yet. In this work, we propose a comprehensive study that systematically evaluates FVs and CNNs for image retrieval. The first part compares the performances of FVs and CNNs on multiple publicly available data sets. We investigate a number of details specific to each method. For FVs, we compare sparse descriptors based on interest point detectors with dense single-scale and multi-scale variants. For CNNs, we focus on understanding the impact of depth, architecture and training data on retrieval results. Our study shows that no descriptor is systematically better than the other and that performance gains can usually be obtained by using both types together. The second part of the study focuses on the impact of geometrical transformations such as rotations and scale changes. FVs based on interest point detectors are intrinsically resilient to such transformations while CNNs do not have a built-in mechanism to ensure such invariance. We show that performance of CNNs can quickly degrade in presence of rotations while they are far less affected by changes in scale. We then propose a number of ways to incorporate the required invariances in the CNN pipeline. Overall, our work is intended as a reference guide offering practically useful and simply implementable guidelines to anyone looking for state-of-the-art global descriptors best suited to their specific image instance retrieval problem.

研究动机与目标

• 系统评估Fisher向量与基于CNN的描述符在标准图像实例检索基准上的性能。
• 研究网络深度、网络结构、训练数据及描述符类型对检索准确率的影响。
• 分析CNN与FV特征对旋转、缩放等几何变换的鲁棒性。
• 提出实用且可实现的策略——特别是数据库端池化方法——以增强CNN特征在旋转与缩放下的不变性。
• 确定结合FV与CNN描述符是否能提升检索性能。

提出的方法

• 研究评估了多种FV变体：基于稀疏（DoG）与密集兴趣点、单尺度与多尺度配置。
• 对于CNN，作者分析了不同层（如fc6、pool5）、网络深度以及训练数据对检索性能的影响。
• 本文提出了数据库端池化策略——在数据库图像的旋转与缩放版本上进行最大池化——以提升CNN特征的不变性。
• 使用Holidays、Oxford5k等标准基准数据集进行性能评估，mAP作为主要指标。
• 通过对比单模型性能与FV与CNN描述符的混合融合性能，评估互补增益。
• 通过系统性地改变查询图像的旋转与缩放程度，测试几何不变性，并测量性能下降程度。

实验结果

研究问题

• RQ1 在标准基准上，最先进的CNN与Fisher向量描述符在检索性能方面如何比较？
• RQ2 结合CNN与FV描述符是否能提升检索性能？
• RQ3 与FV特征相比，CNN特征对旋转与缩放变化的不变性如何？
• RQ4 数据库端池化策略是否能有效恢复CNN特征的旋转与缩放不变性？
• RQ5 深层CNN层是否比浅层更鲁棒于几何变换？

主要发现

• CNN的首个全连接层（fc6）在所测试模型中提供了全面的优异性能。
• 当训练与测试数据相似时，更深的网络才能提升性能；否则可能因过拟合而降低结果。
• 训练数据对CNN性能有显著影响，且深层特征表现出更强的领域特异性。
• 多尺度兴趣点始终优于单尺度FV，且在高度纹理化、非不变性数据集上，密集采样可优于基于DoG的兴趣点。
• 在数据库图像的旋转与缩放版本上进行最大池化，能显著提升CNN对旋转与缩放的鲁棒性，性能接近使用完整尺度存储的最小距离池化方法。
• 基于DoG兴趣点的Fisher向量比密集FV更具旋转不变性，而CNN特征对缩放变化的鲁棒性优于任何FV变体。