[论文解读] On the Behavior of Convolutional Nets for Feature Extraction

Dario García-Gasulla, Ferran Parés+6 more|arXiv (Cornell University)|Mar 3, 2017

Domain Adaptation and Few-Shot Learning参考文献 25被引用 5

一句话总结

本文提出对预训练卷积神经网络（CNN）所有层的个体特征进行统计分析，以评估其在知识表征中的判别能力。通过测量11个数据集上特征的有无激活情况，结果表明低层和中层特征所携带的判别信息甚至超过高层特征。本文提出一种噪声阈值化方法，可保留超过50%的相关特征，从而实现更丰富的全网络嵌入，适用于迁移学习和推理任务。

ABSTRACT

Deep neural networks are representation learning techniques. During training, a deep net is capable of generating a descriptive language of unprecedented size and detail in machine learning. Extracting the descriptive language coded within a trained CNN model (in the case of image data), and reusing it for other purposes is a field of interest, as it provides access to the visual descriptors previously learnt by the CNN after processing millions of images, without requiring an expensive training phase. Contributions to this field (commonly known as feature representation transfer or transfer learning) have been purely empirical so far, extracting all CNN features from a single layer close to the output and testing their performance by feeding them to a classifier. This approach has provided consistent results, although its relevance is limited to classification tasks. In a completely different approach, in this paper we statistically measure the discriminative power of every single feature found within a deep CNN, when used for characterizing every class of 11 datasets. We seek to provide new insights into the behavior of CNN features, particularly the ones from convolutional layers, as this can be relevant for their application to knowledge representation and reasoning. Our results confirm that low and middle level features may behave differently to high level features, but only under certain conditions. We find that all CNN features can be used for knowledge representation purposes both by their presence or by their absence, doubling the information a single CNN feature may provide. We also study how much noise these features may include, and propose a thresholding approach to discard most of it. All these insights have a direct application to the generation of CNN embedding spaces.

研究动机与目标

• 理解预训练CNN所有层（尤其是卷积层）中个体特征的判别行为。
• 探究特征是否可通过“无”而非“有”来表征类别，从而为知识表征开辟新模态。
• 评估低层与中层特征在无微调情况下于多样化数据集上的泛化潜力。
• 开发一种阈值策略，以过滤CNN特征中的噪声，同时保留判别性信息。
• 证明全网络嵌入（即使用所有层的特征）在下游任务中可超越传统单层嵌入。

提出的方法

• 在ImageNet 2012上使用预训练的VGG16网络作为11个多样化目标数据集（如MIT67、CUB200、Flowers102）的特征提取器。
• 测量每一层中每个个体特征的类内与类间激活分布，以评估其判别能力。
• 提出一种基于随机数据集的噪声估计方法，以定义特征相关性的保守阈值。
• 若某特征的类内激活超过类间激活的阈值（该阈值基于噪声基线确定），则判定其为相关特征。
• 在所有层与所有数据集上评估特征相关性，以识别有无信号的一致性模式。
• 通过结合所有层中相关特征的有无信号，构建全网络嵌入。

实验结果

研究问题

• RQ1 个体CNN特征是否可通过其‘无’而非‘有’来表征类别？这对知识表征有何影响？
• RQ2 在多样化数据集中，低层、中层与高层特征的判别行为有何差异？
• RQ3 在无微调的情况下，低层卷积层的特征在多大程度上能跨数据集泛化？
• RQ4 在保留判别相关性的同时，过滤CNN特征中噪声的最优阈值是什么？
• RQ5 在分类与多模态任务中，使用所有层特征的全网络嵌入是否能超越单层嵌入？

主要发现

• 所有层（包括低层与中层卷积层）的特征在11个评估数据集中均表现出判别能力，证明CNN表示空间中不存在无法描述的类别。
• 在应用保守噪声阈值后，嵌入空间中超过一半的特征仍保持相关性，表明大量特征携带非随机的判别性信息。
• 低层与中层特征在不同数据集中表现出一致行为，表明其泛化能力强，可无需任务特定微调即用于知识表征。
• 全连接层特征高度特异——要么强烈表征某一类别，要么完全无关；而卷积特征常通过‘无’来指示类别归属，提供互补的信息模态。
• 全连接层特征在分布外任务（与ImageNet无交集）中的行为与卷积特征在统计上相似，表明在知识表征流程中可类似处理。
• 结合所有层特征并利用有无信号的全网络嵌入，在分类与多模态任务（如图像字幕生成与检索）中均优于单层嵌入。