[论文解读] CNN Features off-the-shelf: an Astounding Baseline for Recognition

Ali Sharif Razavian, Hossein Azizpour+2 more|arXiv (Cornell University)|Mar 23, 2014

Advanced Image and Video Retrieval Techniques参考文献 35被引用 679

一句话总结

本文展示了，从预训练的卷积神经网络（CNN）模型OverFeat中直接提取的特征——无需微调——在多种视觉识别任务中可作为极为强大的基线。仅使用线性SVM或L2距离对4096维特征进行处理，并辅以简单的数据增强，该方法在多个基准数据集上实现了SOTA或极具竞争力的性能，涵盖物体分类、场景识别、细粒度识别、属性检测和图像检索等任务。

ABSTRACT

Recent results indicate that the generic descriptors extracted from the convolutional neural networks are very powerful. This paper adds to the mounting evidence that this is indeed the case. We report on a series of experiments conducted for different recognition tasks using the publicly available code and model of the \overfeat network which was trained to perform object classification on ILSVRC13. We use features extracted from the \overfeat network as a generic image representation to tackle the diverse range of recognition tasks of object image classification, scene recognition, fine grained recognition, attribute detection and image retrieval applied to a diverse set of datasets. We selected these tasks and datasets as they gradually move further away from the original task and data the \overfeat network was trained to solve. Astonishingly, we report consistent superior results compared to the highly tuned state-of-the-art systems in all the visual classification tasks on various datasets. For instance retrieval it consistently outperforms low memory footprint methods except for sculptures dataset. The results are achieved using a linear SVM classifier (or $L2$ distance in case of retrieval) applied to a feature representation of size 4096 extracted from a layer in the net. The representations are further modified using simple augmentation techniques e.g. jittering. The results strongly suggest that features obtained from deep learning with convolutional nets should be the primary candidate in most visual recognition tasks.

研究动机与目标

• 评估单一公开预训练模型（OverFeat）的预训练CNN特征在多样化视觉识别任务中的泛化能力。
• 确定大规模ImageNet预训练网络生成的通用、非微调特征是否能超越高度定制化的SOTA系统。
• 探究简单特征处理与数据增强技术在不修改网络架构的前提下提升性能的有效性。
• 验证深度特征是否应作为视觉识别流程中的默认基线，取代复杂且任务特定的特征工程。

提出的方法

• 从预训练的OverFeat网络最后一层全连接层中提取4096维CNN特征。
• 在分类任务中使用线性SVM，在图像检索任务中使用L2距离，直接使用网络输出的特征，未进行微调。
• 采用数据增强技术（如抖动：随机裁剪、颜色抖动、水平翻转）以提升鲁棒性与性能。
• 在检索任务中，采用空间搜索策略，结合多尺度块提取（最多4层），并计算查询与参考子块之间的最小L2距离。
• 应用特征处理流程：L2归一化 → PCA（降维至500维） → 白化 → L2重新归一化 → 符号幂变换（幂次为2）。
• 在所有数据集和任务中采用相同的特征处理与分类器设置，以确保比较的一致性与公平性。

实验结果

研究问题

• RQ1 来自如OverFeat这类预训练网络的即插即用CNN特征，是否能在多样化视觉识别任务中超越高度调优的、任务特定的SOTA方法？
• RQ2 在不进行微调的情况下，简单数据增强技术在使用通用CNN特征时对性能提升的效果如何？
• RQ3 单一预训练CNN表征在显著差异的尺度、类别与复杂度任务（如从物体分类到细粒度识别）之间，其泛化能力有多强？
• RQ4 在低内存约束下，通用CNN特征在图像检索中是否优于传统手工设计的描述符（如SIFT、VLAD）？
• RQ5 CNN特征是否能在未显式为属性检测训练的情况下，编码语义属性与部件级信息？

主要发现

• 来自OverFeat的即插即用CNN特征在所有测试任务中均实现了优越或具有竞争力的性能，包括物体分类、场景识别、细粒度识别、属性检测与图像检索。
• 在Oxford5k数据集上，该方法仅使用4–15k内存占用即达到68.0%的检索准确率，显著优于低内存方法如BoW（36.4%）与IFV（41.8%）。
• 在Paris6k数据集上，该方法达到79.5%的准确率，远超VLAD（55.5%）与IFV（41.8%），展现出对不同图像尺度与视角的强大泛化能力。
• 在Holidays数据集上，该方法达到84.3%的准确率，超过ASMK+MA报告的最佳结果81.0%与CNN+BOW的80.2%。
• 在UKBench数据集上，该方法达到91.1%的准确率，超过CVLAD的89.3%与IFV的83.8%，证实其在低内存约束下检索性能的一致优越性。
• 在细粒度识别任务中，仅通过线性SVM与简单数据增强处理CNN特征，性能已超越最佳的专用方法，凸显通用特征经最小适应后所具有的巨大潜力。