[论文解读] Do More Dropouts in Pool5 Feature Maps for Better Object Detection

Zhiqiang Shen, Xiangyang Xue|arXiv (Cornell University)|Sep 24, 2014

Advanced Neural Network Applications参考文献 29被引用 7

一句话总结

本文提出了一种新颖的特征编辑方法，通过应用最大熵原理，选择性地丢弃卷积神经网络（CNN）pool5层中无信息量的特征图，从而通过增强特征的判别性来提升目标检测性能。通过移除与无关或混淆概念（如纹理、材质）对应的通道，该方法以极低的计算成本提升了模型的泛化能力，在使用简单线性SVM的情况下，于PASCAL VOC 2007数据集上实现了60.1%的最先进mAP性能。

ABSTRACT

Deep Convolutional Neural Networks (CNNs) have gained great success in image classification and object detection. In these fields, the outputs of all layers of CNNs are usually considered as a high dimensional feature vector extracted from an input image and the correspondence between finer level feature vectors and concepts that the input image contains is all-important. However, fewer studies focus on this deserving issue. On considering the correspondence, we propose a novel approach which generates an edited version for each original CNN feature vector by applying the maximum entropy principle to abandon particular vectors. These selected vectors correspond to the unfriendly concepts in each image category. The classifier trained from merged feature sets can significantly improve model generalization of individual categories when training data is limited. The experimental results for classification-based object detection on canonical datasets including VOC 2007 (60.1%), 2010 (56.4%) and 2012 (56.3%) show obvious improvement in mean average precision (mAP) with simple linear support vector machines.

研究动机与目标

• 解决目标检测中细粒度CNN特征与物体概念之间对应性不足的问题。
• 通过移除对分类无帮助或具有误导性的特征单元，在训练数据有限的情况下提升模型泛化能力。
• 开发一种低复杂度方法，以增强特征表示，而无需数据增强或模型微调。
• 证明从pool5层中移除特定的、在概念上无关的特征可提升标准基准上的检测性能。

提出的方法

• 应用最大熵原理，识别并丢弃pool5层（6×6×256）中对应于无用或混淆概念（如镜面反射、点阵图案）的特征通道。
• 通过计算每个特征通道在训练样本中激活的概率分布，估计其与物体类别的相关性。
• 丢弃熵最低的通道（即信息量最少或在各类间不一致的通道），以生成编辑后的特征集。
• 在原始特征与编辑后特征的合并集合上训练线性SVM分类器，以提升判别力与泛化能力。
• 使用可视化技术分析被丢弃的特征通道，并确认其与目标物体类别的无关性。
• 将该方法与数据增强技术（如图像剪切）进行对比，以验证特征级编辑优于数据级操作的优越性。

实验结果

研究问题

• RQ1 是否可以通过选择性地丢弃CNN pool5层中无信息量的特征通道来提升目标检测性能？
• RQ2 pool5层中哪些类型的特征（如纹理、材质、形状）对分类最具破坏性，且可安全移除？
• RQ3 基于熵的特征编辑是否优于图像剪切等数据增强技术，从而提升检测mAP？
• RQ4 仅使用编辑后的特征，通过训练简单线性SVM是否可在不进行模型微调的情况下实现在PASCAL VOC基准上的最先进性能？

主要发现

• 所提出的特征编辑方法在PASCAL VOC 2007测试集上实现了60.1%的平均平均精度（mAP），超越了此前发表的结果。
• 在VOC 2010和VOC 2012数据集上，该方法分别取得了56.4%和56.3%的mAP，优于基线R-CNN在相同数据集上的53.7%和53.3%的性能。
• 该方法显著提升了牛、狗等大尺寸物体的检测性能，精度明显提高且误报率降低。
• 可视化结果证实，被丢弃的特征对应于无关概念，如纠缠的纹理或类似背景的图案，而非物体特异性特征。
• 图像剪切作为数据增强策略反而损害了性能，表明特征级编辑比随机图像变换更为有效。
• 合并后的特征集（原始+编辑后）的泛化能力优于仅使用编辑后特征，证实了互补表示结合的益处。