[论文解读] Cross-dimensional Weighting for Aggregated Deep Convolutional Features

Yannis Kalantidis, Clayton Mellina+1 more|arXiv (Cornell University)|Dec 13, 2015

Advanced Image and Video Retrieval Techniques被引用 13

一句话总结

本论文提出 CroW（跨维加权）特征，一种通过在求和池化前应用非参数化空间与通道加权来增强深度卷积神经网络表征的方法。该方法在图像搜索基准测试中达到最先进性能——在牛津和巴黎数据集上平均精度均提升超过10%，且无需微调，仅带来极小的计算开销，并提供开源实现。

ABSTRACT

We propose a simple and straightforward way of creating powerful image representations via cross-dimensional weighting and aggregation of deep convolutional neural network layer outputs. We first present a generalized framework that encompasses a broad family of approaches and includes cross-dimensional pooling and weighting steps. We then propose specific non-parametric schemes for both spatial- and channel-wise weighting that boost the effect of highly active spatial responses and at the same time regulate burstiness effects. We experiment on different public datasets for image search and show that our approach outperforms the current state-of-the-art for approaches based on pre-trained networks. We also provide an easy-to-use, open source implementation that reproduces our results.

研究动机与目标

• 开发一种简单而有效的方法，从预训练的深度 CNN 中构建强大的图像表征。
• 通过跨维加权解决现有聚合方法的局限性，如爆发性响应和缺乏空间响应强调。
• 在无需微调的情况下，超越现有紧凑图像表征在图像搜索任务中的最先进性能。
• 提供一个可泛化的框架，用于卷积特征的加权池化，以支持未来基于学习的权重探索。

提出的方法

• 该方法聚合预训练 CNN 最后一个卷积层的特征，不进行输入图像的缩放或裁剪。
• 通过基于软排名的方案，应用非参数化空间加权以强调高度活跃的空间响应。
• 通过非参数化通道加权调节爆发性效应，抑制过度活跃的通道。
• 在求和池化前独立应用空间与通道加权，生成最终的 d 维特征向量。
• 通过将 CroW 特征与排名靠前的结果结合，支持查询扩展，进一步提升性能。
• 提供开源实现，可在 GitHub 上复现结果。

实验结果

研究问题

• RQ1 如何在不微调的情况下提升聚合后的深度卷积特征的表征能力？
• RQ2 空间与通道加权对图像搜索中特征鲁棒性与性能的影响是什么？
• RQ3 非参数化加权方案能否有效减少爆发性并增强 CNN 特征中的显著空间响应？
• RQ4 所提出的 CroW 框架与现有最先进聚合方法在标准基准上的表现相比如何？

主要发现

• 在牛津数据集上，CroW 特征在 256 维下达到 0.851 的平均精度，在巴黎数据集上达到 0.637，优于之前最先进方法超过 10%。
• 通过查询扩展，CroW 在巴黎数据集 512 维下达到 0.848 mAP，超越更复杂的基于局部特征的方法。
• 即使在仅 32 维下，CroW 特征仍保持强大性能，表明其对压缩具有鲁棒性，并对视角与光照变化具有不变性。
• 在巴黎数据集上，将 CroW 的加权方案应用于 SPoC 特征时，分别在 256 和 512 维下提升 3.9% 和 4.6%。
• 该框架在各数据集上均实现一致的性能提升，且在低维特征下提升最为显著。