[论文解读] Generic Object Detection With Dense Neural Patterns and Regionlets

Will Y. Zou, Xiaoyu Wang+2 more|arXiv (Cornell University)|Apr 16, 2014

Advanced Neural Network Applications参考文献 23被引用 12

一句话总结

本文提出Dense Neural Patterns（DNPs）方法，可高效地将深度卷积神经网络（CNN）集成到传统目标检测框架（如Regionlets）中。通过从预训练CNN的第五卷积层提取密集的高层特征，DNPs实现了更快、更准确的检测：在PASCAL VOC 2007上达到46.1%的mAP，在VOC 2010上达到44.1%，优于以往方法，同时将特征提取时间从每张图像2分钟缩短至2秒以内。

ABSTRACT

This paper addresses the challenge of establishing a bridge between deep convolutional neural networks and conventional object detection frameworks for accurate and efficient generic object detection. We introduce Dense Neural Patterns, short for DNPs, which are dense local features derived from discriminatively trained deep convolutional neural networks. DNPs can be easily plugged into conventional detection frameworks in the same way as other dense local features(like HOG or LBP). The effectiveness of the proposed approach is demonstrated with the Regionlets object detection framework. It achieved 46.1% mean average precision on the PASCAL VOC 2007 dataset, and 44.1% on the PASCAL VOC 2010 dataset, which dramatically improves the original Regionlets approach without DNPs.

研究动机与目标

• 将深度卷积神经网络（CNN）与传统目标检测框架相结合，以提升检测的准确性和效率。
• 开发一种方法，从预训练CNN中提取密集的高层特征，而无需在目标数据集上进行微调。
• 将这些特征集成到现有检测流程（如Regionlets）中，以提升性能，同时保持计算效率。
• 证明DNPs与传统局部特征（如HOG、LBP）具有互补性，并能显著提升检测准确率。

提出的方法

• 通过回溯感受野位置到图像坐标，从预训练深度CNN的第五卷积层激活图中提取Dense Neural Patterns（DNPs）。
• 将同一空间位置上多个特征图的激活值拼接，形成每个感受野的密集特征向量，以保留空间信息。
• 使用'网络卷积'技术移动输入裁剪区域，实现对整张图像的密集特征提取，仅需少量网络前向传播，支持任意分辨率。
• 通过在检测窗口的子区域中计算DNPs的归一化直方图，将DNPs集成到Regionlets框架中，再与传统特征结合用于提升学习过程中的Boosting性能。
• 通过避免使用全连接层（其会损失空间定位信息）而改用早期卷积层进行特征提取，以保持空间结构。
• 将DNP特征提取器用作检测器，可视化最常被选中的特征维度，揭示出如物体部件等高层语义模式。

实验结果

研究问题

• RQ1 是否能无需微调，有效且高效地将深度神经网络特征集成到传统目标检测框架（如Regionlets）中？
• RQ2 Dense Neural Patterns（DNPs）是否编码了高层、语义上有意义的特征，从而在检测中超越HOG或LBP等低层线索？
• RQ3 是否能以低计算成本大规模提取DNPs，实现在大图像上的实时或近实时检测？
• RQ4 当应用于传统检测流程时，DNPs在性能和速度上与端到端的CNN检测器（如R-CNN）相比如何？

主要发现

• 所提出的基于DNPs的Regionlets框架在PASCAL VOC 2007数据集上达到46.1%的平均平均精度（mAP），显著优于原始Regionlets方法（41.7%）。
• 在PASCAL VOC 2010数据集上，该方法达到44.1% mAP，优于原始Regionlets（39.7%），并超过使用微调全连接层特征的R-CNN方法（43.5% mAP）。
• 使用DNPs进行特征提取仅需每张图像1.64秒，相比R-CNN方法在相同数据集上所需121.49秒的特征提取时间，提速74倍。
• 可视化分析证实，最常被选中的DNP特征维度对应于语义上有意义的物体部件（如狗脸），表明DNPs编码了高层视觉概念。
• DNPs与传统特征（如HOG）具有互补性，二者结合可带来显著优于单一特征类型的性能提升。
• 该方法在不进行微调的情况下，仅使用第五卷积层的特征，就在PASCAL VOC基准上达到了最先进性能，而其他方法依赖于微调的全连接层。