[论文解读] Feature Representation in Convolutional Neural Networks

Ben Athiwaratkun, Keegan Kang|arXiv (Cornell University)|Jul 8, 2015

Advanced Neural Network Applications参考文献 9被引用 79

一句话总结

本论文表明，当与随机森林和SVM等传统机器学习模型结合使用时，次优或未充分训练的卷积神经网络（CNN）的低层卷积特征在图像分类任务中优于高层特征（例如，最终的全连接层）。其主要贡献在于证明了CNN特征，尤其是早期层的特征，能够实现比原始CNN更高的准确率，为迁移学习提供了一种更高效、更有效的替代方案。

ABSTRACT

Convolutional Neural Networks (CNNs) are powerful models that achieve impressive results for image classification. In addition, pre-trained CNNs are also useful for other computer vision tasks as generic feature extractors. This paper aims to gain insight into the feature aspect of CNN and demonstrate other uses of CNN features. Our results show that CNN feature maps can be used with Random Forests and SVM to yield classification results that outperforms the original CNN. A CNN that is less than optimal (e.g. not fully trained or overfitting) can also extract features for Random Forest/SVM that yield competitive classification accuracy. In contrast to the literature which uses the top-layer activations as feature representation of images for other tasks, using lower-layer features can yield better results for classification.

研究动机与目标

• 探究从卷积神经网络（CNN）中提取的特征是否能够使图像分类性能超越原始CNN的准确率。
• 评估CNN不同层的特征有效性，特别是对比低层特征与高层特征的表现。
• 探索次优或过拟合的CNN是否仍可作为下游任务的有效特征提取器。
• 证明当在CNN提取的特征上训练时，传统机器学习模型（随机森林、SVM）的性能可超越原始CNN。
• 通过DeConvNet等可视化技术揭示所学特征的可解释性，以支持生物学分类任务。

提出的方法

• 在包含121个类别的浮游生物图像数据集上，使用ReLU激活函数、最大池化和带动量的随机梯度下降法，训练了三个自定义CNN架构（CNN1、CNN2、CNN3）。
• 从每个训练好的CNN的多个层中提取特征图，涵盖早期（卷积层）和晚期（全连接层）的层。
• 将提取的特征图用作传统分类器（随机森林和SVM）的输入，而非依赖CNN的最终Softmax层。
• 应用DeConvNet（去卷积网络）对所学特征进行可视化与解释，将特征模式与浮游生物的视觉特征关联起来。
• 对特征向量进行层次聚类，生成反映浮游生物类别之间视觉相似性的树状图（dendrogram）。
• 使用标准指标（准确率）评估性能，并对比仅使用CNN的模型与基于CNN特征的模型结果。

实验结果

研究问题

• RQ1 当与传统机器学习模型结合使用时，CNN低层的特征是否能比最终全连接层的特征带来更好的分类性能？
• RQ2 次优或过拟合的CNN是否仍能提取出有用特征，使其在随机森林或SVM上实现优于自身分类准确率的表现？
• RQ3 CNN特征，尤其是早期层的特征，是否可在数据有限的图像分类任务中有效用于迁移学习？
• RQ4 所学特征的视觉模式如何与输入图像的生物学或视觉特征相关联？它们是否能支持表型分类？
• RQ5 与使用CNN自身分类头相比，使用CNN特征与传统模型结合是否能带来显著的性能提升？

主要发现

• 使用低层卷积层（例如，第一次或第二次最大池化之后）的特征与随机森林或SVM结合，其分类准确率高于使用最终全连接层的特征。
• 即使CNN未完全训练或表现出过拟合迹象，其提取的特征仍能使随机森林和SVM实现与原始CNN相当或更优的准确率。
• CNN特征与传统模型（随机森林/SVM）结合的性能，优于原始CNN自身分类头在浮游生物数据集上的表现。
• 基于特征向量的层次聚类揭示了浮游生物类别的有意义分组，相似类别表现出高度相关的特征激活。
• 使用DeConvNet进行的特征可视化显示，特定特征（如特征5和36）对应于可解释的视觉模式，如“膜结构”和“多孔体”，支持生物学可解释性。
• 基于特征相似性的树状图与视觉相似性高度一致，表明CNN特征可作为生物分类的“二歧检索表”。