[论文解读] Kernelized Deep Convolutional Neural Network for Describing Complex Images

Zhen Liu|arXiv (Cornell University)|Sep 15, 2015

Advanced Image and Video Retrieval Techniques参考文献 34被引用 4

一句话总结

该论文提出了一种核化深度卷积神经网络（KCNN），通过利用局部块级CNN特征与Fisher向量聚合，提升复杂图像中图像表征的鲁棒性，在Oxford Buildings、Holidays和UKBench等基准数据集上显著提升了图像检索的准确性，尤其在几何变换下表现优异。

ABSTRACT

With the impressive capability to capture visual content, deep convolutional neural networks (CNN) have demon- strated promising performance in various vision-based ap- plications, such as classification, recognition, and objec- t detection. However, due to the intrinsic structure design of CNN, for images with complex content, it achieves lim- ited capability on invariance to translation, rotation, and re-sizing changes, which is strongly emphasized in the s- cenario of content-based image retrieval. In this paper, to address this problem, we proposed a new kernelized deep convolutional neural network. We first discuss our motiva- tion by an experimental study to demonstrate the sensitivi- ty of the global CNN feature to the basic geometric trans- formations. Then, we propose to represent visual content with approximate invariance to the above geometric trans- formations from a kernelized perspective. We extract CNN features on the detected object-like patches and aggregate these patch-level CNN features to form a vectorial repre- sentation with the Fisher vector model. The effectiveness of our proposed algorithm is demonstrated on image search application with three benchmark datasets.

研究动机与目标

• 解决全局CNN特征在处理复杂图像中几何变换（平移、旋转、缩放）时的局限性。
• 克服标准CNN在基于内容的图像检索中对物体位置和尺度变化的敏感性。
• 开发一种鲁棒的、固定长度的向量化图像表征，保持对常见几何变换的不变性。
• 在全局特征失效的复杂多对象场景中，提升图像检索任务的性能。
• 将深度特征与基于核的聚合方法（Fisher向量）结合，增强判别能力，同时保持空间不变性。

提出的方法

• 使用选择性搜索或类似方法在复杂图像中检测类似物体的局部块，以定位显著区域。
• 使用预训练的卷积神经网络（例如基于Caffe的架构）从每个检测到的局部块中提取深度CNN特征。
• 利用Fisher向量模型聚合局部块级CNN特征，生成固定长度、具有判别性的向量表征。
• 利用Fisher向量编码量化与残差信息的能力，提升对几何变化的鲁棒性。
• 将所得的KCNN表征用作检索任务中的全局图像描述符。
• 在标准基准数据集（Oxford Buildings、Holidays、UKBench）上使用mAP和top-k精确率指标进行模型训练与评估。

实验结果

研究问题

• RQ1 全局CNN特征在复杂图像中对平移、旋转和缩放等几何变换的响应如何？
• RQ2 基于局部块的CNN特征结合Fisher向量聚合，是否能比全局CNN特征实现更好的几何变换不变性？
• RQ3 所提出的KCNN方法在复杂多对象场景的图像检索中，是否优于标准CNN和BoVW/Fisher核基线方法？
• RQ4 与SIFT-based方法相比，KCNN在细粒度图像检索任务中的表现如何？
• RQ5 KCNN表征在内容复杂度多样的不同图像数据集上，其泛化能力如何？

主要发现

• 所提出的KCNN方法在Holidays数据集上达到0.829的mAP，优于先前基于CNN的方法（例如[14]中的0.802 mAP）和SOTA基线。
• 在Oxford Buildings数据集上，KCNN达到0.51 mAP，显著优于全局CNN基线（0.38 mAP），每项查询的性能提升范围为33%至355%。
• 在UKBench上，KCNN的top-4精确率达到3.74，超过CNN基线（3.41）以及[3]（3.50）和[22]（3.53）等竞争方法。
• 对于特定查询，KCNN在精确率上实现超过200%的提升（例如在All Souls上提升+215%），表明其对几何变化具有极强的鲁棒性。
• 在复杂场景中，KCNN取得显著性能提升（例如Bodleian提升+333%，Hertford提升+242%），证实其在多对象、杂乱图像中的有效性。
• 尽管在Holidays和UKBench上表现强劲，SIFT-based方法在Oxford Buildings上仍优于KCNN，表明在细粒度建筑识别任务中，局部纹理和结构特征更为关键，KCNN仍面临挑战。