[论文解读] Good Practice in CNN Feature Transfer
本文研究通过使用更大输入尺寸、对中间特征进行池化、以及跨多个CNN层融合特征来提升性能，从而实现对图像检索和分类的有效CNN特征迁移。
The objective of this paper is the effective transfer of the Convolutional Neural Network (CNN) feature in image search and classification. Systematically, we study three facts in CNN transfer. 1) We demonstrate the advantage of using images with a properly large size as input to CNN instead of the conventionally resized one. 2) We benchmark the performance of different CNN layers improved by average/max pooling on the feature maps. Our observation suggests that the Conv5 feature yields very competitive accuracy under such pooling step. 3) We find that the simple combination of pooled features extracted across various CNN layers is effective in collecting evidences from both low and high level descriptors. Following these good practices, we are capable of improving the state of the art on a number of benchmarks to a large margin.
研究动机与目标
- 激励并分析如何将预训练的CNN特征有效迁移到新的图像检索/分类任务。
- 评估输入图像尺寸、对中间层进行池化以及多层特征融合的影响。
- 提出在各基准上提升迁移性能的实用建议。
提出的方法
- 使用平均 pooling 或最大 pooling 对 CNN 层的特征进行池化，以创建紧凑向量。
- 在多个层之间融合池化后的特征，以捕捉多尺度信息。
- 在图像检索中使用晚期融合策略（Query Adaptive Fusion）按查询自适应地调整特征权重。
- 在10个基准上（3个检索、7个分类）使用VGGNet（和AlexNet）评估池化和尺寸效应。
- 采用保持宽高比的 scale-1.0 更大输入协议进行训练/评估；与 224/227 输入进行对比。
实验结果
研究问题
- RQ1使用更大的输入尺寸是否能在不同数据集上提升CNN特征迁移性能？
- RQ2对中间CNN层进行平均池化/最大池化是否能提高迁移任务的鲁棒性和准确性？
- RQ3对来自多层的池化特征进行融合是否对图像检索与分类有利？
- RQ4在迁移设置中，底部（Conv）特征与全连接（FC）特征相比如何？在哪些任务中中层特征更有利？
主要发现
- 更大的输入图像在所有数据集上都持续提升检索和分类的准确性。
- 对 Conv5 特征进行平均池化（以及在较小程度上进行最大池化）在若干任务中产生与 FC 特征相竞争甚至优越的结果。
- 来自多层CNN的池化特征融合在图像检索和分类中均带来稳定的改进。
- Conv5 结合池化在若干迁移任务中接近甚至赶上 FC6/FC7，尤其是细粒度和场景分类。
- 多层融合在 Holidays、Ukbench、Oxford5k 的 mAP/N-S 指标上有显著提升（例如 Holidays 的查询自适应融合提高了约 7.49% mAP，Oxford5k 提升约 11.12%）。
- 在分类任务中对七个层进行融合在 Bird、Flower、Indoor、SUN、Caltech-101、Caltech-256 与 VOC’07 上带来增益（文本中列出明确增益）。
- 在图像检索方面，所提出的方法在 VGG 下在 Holidays 达到 mAP 84.2%、Oxford5k 为 71.3%，Ukbench 的 N-S 得分为 3.75；再排序进一步提升这些数值。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。