[论文解读] Cross-convolutional-layer Pooling for Image Recognition

Lingqiao Liu, Chunhua Shen+1 more|arXiv (Cornell University)|Oct 4, 2015

Advanced Image and Video Retrieval Techniques参考文献 21被引用 3

一句话总结

本文提出了一种新型的跨卷积层池化（CCLP）方法，通过利用两个连续卷积层的激活值来提取图像表征：一个用于局部特征提取，另一个作为池化引导信号。该方法通过将特征图作为广义部件化池化机制的一部分，动态加权局部特征，从而在图像分类和检索任务中提升性能，优于标准池化方法和现有的DCNN基描述符，在多个基准测试中表现更优。

ABSTRACT

Recent studies have shown that a Deep Convolutional Neural Network (DCNN) pretrained on a large image dataset can be used as a universal image descriptor, and that doing so leads to impressive performance for a variety of image classification tasks. Most of these studies adopt activations from a single DCNN layer, usually the fully-connected layer, as the image representation. In this paper, we proposed a novel way to extract image representations from two consecutive convolutional layers: one layer is utilized for local feature extraction and the other serves as guidance to pool the extracted features. By taking different viewpoints of convolutional layers, we further develop two schemes to realize this idea. The first one directly uses convolutional layers from a DCNN. The second one applies the pretrained CNN on densely sampled image regions and treats the fully-connected activations of each image region as convolutional feature activations. We then train another convolutional layer on top of that as the pooling-guidance convolutional layer. By applying our method to three popular visual classification tasks, we find our first scheme tends to perform better on the applications which need strong discrimination on subtle object patterns within small regions while the latter excels in the cases that require discrimination on category-level patterns. Overall, the proposed method achieves superior performance over existing ways of extracting image representations from a DCNN.

研究动机与目标

• 解决在预训练DCNN中仅使用单一层（如全连接层）进行图像表征的局限性。
• 通过利用连续卷积层之间的空间和层次模式，提升特征判别能力。
• 提出一种计算高效的图像检索方法，结合跨层池化、特征二值化和自适应通道选择。
• 通过特征符号量化减少内存和计算成本，同时不损失判别能力。
• 在标准基准上证明CCLP优于标准池化方法和现有DCNN描述符方法。

提出的方法

• 该方法从较早的卷积层提取局部特征，并利用后续卷积层的特征图作为池化的引导信号。
• 引导层中每个滤波器的特征图充当部件检测器，根据空间激活情况为前一层的局部特征分配权重。
• 最终的图像表征通过连接引导层所有滤波器（通道）的池化特征形成。
• 提出两种变体：一种使用原始卷积层，另一种将区域级全连接激活视为增强的卷积层。
• 在图像检索中，该方法应用特征二值化，并基于平均激活值选择top-k池化通道，以降低计算成本。
• 采用粗粒度的特征符号量化方案，在保留判别能力的同时压缩表征。

实验结果

研究问题

• RQ1 将两个连续卷积层的激活值结合，是否能相比单层描述符提升图像表征学习性能？
• RQ2 使用后续层的特征图作为动态池化引导，是否能增强细粒度和类别级识别的特征判别能力？
• RQ3 跨层池化与标准池化方法（如最大池化和求和池化）结合空间金字塔池化相比，表现如何？
• RQ4 通过二值化和自适应通道选择，是否能在不降低性能的前提下降低图像检索的计算成本？
• RQ5 特征符号量化在压缩表征中能在多大程度上保持性能？

主要发现

• 跨层池化在MIT67、Birds200和PASCAL07数据集上分别达到74.4%、77.0%和84.1%的准确率，优于所有测试的替代池化方法。
• 在图像检索任务中，采用k=50池化通道和二值化特征的方法显著优于基线方法[5]，尤其在特征压缩时表现更优。
• 当包含过多低激活池化通道时性能下降，表明弱检测器引入了噪声。
• 特征符号量化保留了大部分判别能力，仅造成轻微准确率下降（如MIT-67上77.9% vs. 78.2%）。
• 使用增强卷积层（来自区域级全连接激活）的方法在类别级识别任务中表现更优。
• 所提出的检索方案结合自适应通道选择和二值化，在合理计算成本下实现了高性能。