[论文解读] Analyzing the Performance of Multilayer Neural Networks for Object Recognition

Pulkit Agrawal, Ross Girshick+1 more|arXiv (Cornell University)|Jul 7, 2014

Advanced Neural Network Applications参考文献 22被引用 71

一句话总结

本文通过实证分析多层卷积神经网络（CNN）在目标识别中的表现，揭示了在中等规模检测数据下，ImageNet预训练可显著提升性能；特征表示主要为分布式而非类似‘祖母细胞’的模式；空间位置在检测任务中比分类任务更为关键。令人意外的是，特征幅值影响甚微，因为将特征二值化后性能下降极小，从而支持高效稀疏表示的实现。

ABSTRACT

In the last two years, convolutional neural networks (CNNs) have achieved an impressive suite of results on standard recognition datasets and tasks. CNN-based features seem poised to quickly replace engineered representations, such as SIFT and HOG. However, compared to SIFT and HOG, we understand much less about the nature of the features learned by large CNNs. In this paper, we experimentally probe several aspects of CNN feature learning in an attempt to help practitioners gain useful, evidence-backed intuitions about how to apply CNNs to computer vision problems.

研究动机与目标

• 理解深度CNN所学习特征的本质，特别是与SIFT和HOG等手工设计特征的对比。
• 研究监督预训练与微调在不同数据规模下的目标识别性能影响。
• 检验中间CNN特征是否类似‘祖母细胞’，或是否形成分布式编码。
• 评估空间位置与激活幅值在分类与检测任务中CNN特征的重要性。

提出的方法

• 使用ImageNet的迁移学习微调一个深度CNN（类似AlexNet），在PASCAL VOC 2007和SUN数据集上进行训练。
• 从随机初始化开始训练网络，以与预训练模型对比，同时改变训练数据规模。
• 应用消融技术：对特征图进行二值化处理（阈值为0）、空间随机打乱（sp-shuffle）和空间最大池化（sp-max），以评估特征的鲁棒性。
• 使用熵曲线和曲线下面积（AuE）衡量滤波器的判别能力，并按类别选择性对滤波器进行排序。
• 在图像分类（PASCAL-CLS, SUN-CLS）和目标检测（PASCAL-DET）任务上均进行实验，比较对空间与幅值消融的敏感性。
• 使用mAP评估检测性能，使用准确率评估分类性能，并通过标准误评估统计显著性。

实验结果

研究问题

• RQ1 在不同数据规模下，包括中等规模的检测数据集，ImageNet上的监督预训练是否能持续提升性能？
• RQ2 在ImageNet上进行更长周期的预训练，是否会因迁移至下游任务而引发过拟合或泛化误差？
• RQ3 中间CNN特征是否表现出‘祖母细胞’行为，还是更倾向于在多个滤波器间形成分布式表示？
• RQ4 特征激活的空间位置对图像分类与目标检测任务的重要性如何？
• RQ5 特征激活的幅值在多大程度上影响识别性能？

主要发现

• 在仅37,000个边界框的情况下，ImageNet预训练仍能显著提升检测与分类性能；更长的预训练时间可获得更好结果，且不会增加泛化误差。
• 在PASCAL-CLS上，将特征二值化（阈值为0）使conv-5的mAP从65.6%降至60.8%，表明性能损失极小，支持使用稀疏二值特征。
• 空间消融（sp-max）对分类性能影响极小——conv-5的mAP仅从65.6%降至62.5%；但在检测任务中造成显著下降（从47.6%降至25.4%），表明空间位置对检测至关重要。
• 中间层的表示主要为分布式：仅有少量滤波器表现如‘祖母细胞’，而大多数需多个滤波器协同激活才能实现类别判别。
• 在图像分类任务中，空间打乱（sp-shuffle）在浅层影响更大（如conv-1的mAP从25.1%降至15.1%），但深层影响减弱，表明空间信息在深层逐渐变得不那么关键。
• 在ImageNet验证集上，经过sp-max处理的conv-5特征达到41.5%的top-1准确率，接近原始的43.2%，证实空间结构对分类的重要性低于对检测任务。