[论文解读] Object Detection Networks on Convolutional Feature Maps

Shaoqing Ren, Kaiming He+3 more|arXiv (Cornell University)|Apr 23, 2015

Advanced Neural Network Applications参考文献 39被引用 35

一句话总结

本文提出了卷积特征图上的网络（NoCs），一种深度、卷积的区域分类器，当与ResNet和Faster R-CNN等强大特征提取器结合时，可显著提升目标检测的准确率。其主要贡献在于证明：在区域特征上使用深度卷积分类器对于实现最先进性能至关重要，即使在使用更优越的特征提取器时，其表现也优于简单的多层感知机（MLP）。

ABSTRACT

Most object detectors contain two important components: a feature extractor and an object classifier. The feature extractor has rapidly evolved with significant research efforts leading to better deep convolutional architectures. The object classifier, however, has not received much attention and many recent systems (like SPPnet and Fast/Faster R-CNN) use simple multi-layer perceptrons. This paper demonstrates that carefully designing deep networks for object classification is just as important. We experiment with region-wise classifier networks that use shared, region-independent convolutional features. We call them "Networks on Convolutional feature maps" (NoCs). We discover that aside from deep feature maps, a deep and convolutional per-region classifier is of particular importance for object detection, whereas latest superior image classification models (such as ResNets and GoogLeNets) do not directly lead to good detection accuracy without using such a per-region classifier. We show by experiments that despite the effective ResNets and Faster R-CNN systems, the design of NoCs is an essential element for the 1st-place winning entries in ImageNet and MS COCO challenges 2015.

研究动机与目标

• 研究区域分类器在目标检测系统中的作用，独立于特征提取器。
• 确定更深、更复杂的分类器是否能超越标准多层感知机（MLP）提升检测准确率。
• 探索卷积网络作为共享卷积特征上的区域分类器的有效性。
• 证明即使使用更优越的图像分类模型（如ResNets、GoogLeNets），若无适当的区域分类器设计，也无法直接提升检测准确率。
• 提供一种实用框架，将全卷积图像分类器集成到Faster R-CNN中，以提升检测性能。

提出的方法

• 提出‘卷积特征图上的网络’（NoCs），其中区域特征通过RoI池化提取，并由一个深度共享分类器网络进行分类。
• 设计三类NoC：浅层MLP、深层MLP（3fc）以及使用步长为16的中间特征图的深度卷积NoCs。
• 在深层网络中，将特征图步长从32减小到16时，使用‘空洞’（à trous）算法以保持感受野大小。
• 使用ResNet-101、GoogleNet和VGG-16作为主干特征提取器，端到端训练完整的Faster R-CNN系统，集成NoCs。
• 在中间层（如ResNet的res4b）应用RoI池化，以保留空间分辨率，从而实现有效的卷积分类。
• 在MS COCO和PASCAL VOC基准上，通过mAP和AP@0.5/0.75比较不同NoC架构的检测性能。

实验结果

研究问题

• RQ1 与简单的多层感知机相比，更深的卷积区域分类器是否能显著提升目标检测准确率？
• RQ2 像ResNets和GoogLeNets这样的最先进图像分类模型，是否能在没有适当区域分类器的情况下直接提升检测性能？
• RQ3 特征图的空间分辨率（即步长）是否是检测性能的关键因素？其与NoC设计的交互作用如何？
• RQ4 不同NoC架构（MLP、卷积神经网络、Maxout-卷积神经网络）在定位和分类准确率方面有何差异？
• RQ5 深度卷积NoC在ImageNet和MS COCO 2015等重大挑战中，对顶尖检测器成功有多大贡献？

主要发现

• 使用3层全连接（3fc）NoC替代1层分类器（1fc），在ResNet-101下，MS COCO上的AP从21.3%提升至26.3%，证明了区域分类器深度的重要性。
• 将1fc NoC替换为深层卷积NoC（res5a–5c + fc）后，MS COCO上的AP提升至27.2%，AP@0.75提升1.7个百分点，表明定位能力显著增强。
• 更深的NoC显著提升了定位准确率（例如，AP@0.75提升+1.7），而对AP@0.5影响甚微，表明其在精确边界框预测中的关键作用。
• 尽管VGG-16在ImageNet上的Top-1准确率较低，但在原始Faster R-CNN中表现优于ResNet和GoogleNet，因其特征图步长更细（16 vs. 32），凸显了空间分辨率的重要性。
• 消融实验确认，即使使用ResNet等强大特征提取器，深度卷积NoC仍是实现顶尖检测性能的必要条件。
• 最终系统采用深度卷积NoC与ResNet-101，MS COCO上达到27.2%的mAP，成为ImageNet和MS COCO 2015挑战赛第一名解决方案的基础。