[论文解读] Feature Evaluation of Deep Convolutional Neural Networks for Object Recognition and Detection

Hirokatsu Kataoka, Kenji Iwata+1 more|arXiv (Cornell University)|Sep 25, 2015

Advanced Neural Network Applications参考文献 13被引用 18

一句话总结

本文评估了AlexNet和VGGNet的中间卷积层及全连接层的特征表示在目标识别与检测中的表现。通过融合多个层级的特征并应用主成分分析（PCA），研究发现中间和深层卷积层——特别是VGGNet的第5层——通常优于传统的全连接层，特征融合使在Daimler行人数据集上的准确率提升至99.38%，在Caltech 101数据集上达到92.00%。

ABSTRACT

In this paper, we evaluate convolutional neural network (CNN) features using the AlexNet architecture and very deep convolutional network (VGGNet) architecture. To date, most CNN researchers have employed the last layers before output, which were extracted from the fully connected feature layers. However, since it is unlikely that feature representation effectiveness is dependent on the problem, this study evaluates additional convolutional layers that are adjacent to fully connected layers, in addition to executing simple tuning for feature concatenation (e.g., layer 3 + layer 5 + layer 7) and transformation, using tools such as principal component analysis. In our experiments, we carried out detection and classification tasks using the Caltech 101 and Daimler Pedestrian Benchmark Datasets.

研究动机与目标

• 探究深度卷积神经网络（CNN）的中间卷积层特征是否在目标识别任务中优于全连接层特征。
• 评估跨多个层级（如第3、5、7层）的特征拼接对识别性能提升的有效性。
• 评估通过主成分分析（PCA）进行降维对CNN特征表示在检测与分类任务中的影响。
• 在标准基准数据集上，比较两种主流网络架构——AlexNet和VGGNet——的性能表现：Caltech 101与Daimler行人检测基准。
• 确定特定层级的特征在不同数据集和任务中是否具有差异化的实用性，从而挑战‘最后全连接层为最优’的假设。

提出的方法

• 从预训练的AlexNet和VGGNet模型中提取多个层级（第3至第7层）的特征，包括最大池化层和全连接层。
• 对非相邻与相邻层级（如第3、5、7层和第3、4、5层）的特征进行拼接，以整合层次化表征。
• 使用主成分分析（PCA）进行降维，设定1,500个主成分以压缩特征并减少噪声。
• 在提取并转换后的特征上训练支持向量机（SVM）分类器，用于分类与检测任务。
• 采用标准基准数据集进行评估：Caltech 101（101类物体）与Daimler行人检测基准。
• 通过比较不同层级组合、网络架构及预处理技术的性能，识别最优的特征配置。

实验结果

研究问题

• RQ1 AlexNet与VGGNet的中间卷积层（如第3至第7层）的特征是否在目标识别任务中优于最终全连接层的特征？
• RQ2 将多个层级的特征（如第3、5、7层）进行拼接后，其识别准确率是否显著高于单独使用某一层的特征？
• RQ3 对CNN特征应用PCA是否能提升分类与检测性能？若能，哪些层级受益最多？
• RQ4 当作为特征提取器时，AlexNet与VGGNet在相同数据集上的性能特征有何差异？
• RQ5 是否存在某一特定层级（如第5层）在不同数据集与架构中均能持续提供最高的识别准确率？

主要发现

• 在Daimler行人检测基准上，VGGNet第5层达到99.35%的准确率，优于所有其他层级与架构。
• 在Caltech 101数据集上，VGGNet第5层达到91.8%的准确率，显著优于AlexNet同一层级的78.37%。
• VGGNet第5、6、7层的特征拼接在Caltech 101上实现92.00%的最高准确率，在Daimler数据集上达到99.38%。
• PCA变换使Daimler数据集上的识别准确率最高提升0.44%，尤其显著提升了VGGNet第5层与第4层的性能。
• AlexNet第3层在Daimler数据集上达到98.71%的准确率，优于其全连接层，表明早期至中期特征同样具有高度有效性。
• 本研究证明，全连接层并非始终最优，深层卷积层——尤其是靠近分类器的层——可为识别任务提供更优越的表征能力。