[论文解读] A Unified Multi-scale Deep Convolutional Neural Network for Fast Object Detection

Zhaowei Cai, Quanfu Fan+2 more|arXiv (Cornell University)|Jul 25, 2016

Advanced Neural Network Applications参考文献 35被引用 4

一句话总结

本文提出了一种统一的多尺度深度卷积神经网络（MS-CNN），通过在多个中间网络层进行检测，实现快速、准确的物体检测，每个层均针对不同物体尺度进行优化。通过利用多尺度特征图和基于反卷积的特征上采样（而非输入图像上采样），MS-CNN在KITTI和Caltech基准上实现了高达15 fps的最先进性能，显著降低了内存和计算成本，同时提升了对小物体和遮挡物体的检测能力。

ABSTRACT

A unified deep neural network, denoted the multi-scale CNN (MS-CNN), is proposed for fast multi-scale object detection. The MS-CNN consists of a proposal sub-network and a detection sub-network. In the proposal sub-network, detection is performed at multiple output layers, so that receptive fields match objects of different scales. These complementary scale-specific detectors are combined to produce a strong multi-scale object detector. The unified network is learned end-to-end, by optimizing a multi-task loss. Feature upsampling by deconvolution is also explored, as an alternative to input upsampling, to reduce the memory and computation costs. State-of-the-art object detection performance, at up to 15 fps, is reported on datasets, such as KITTI and Caltech, containing a substantial number of small objects.

研究动机与目标

• 解决在实时物体检测中高效检测多尺度物体的挑战。
• 克服基于RPN的检测器（如Faster R-CNN）中固定感受野的局限性，后者在小物体检测上表现不佳。
• 减少先前方法为小物体检测而采用输入图像上采样所导致的计算和内存开销。
• 通过融合多尺度特征图上的互补检测器，提升对小物体和遮挡物体的检测精度。
• 实现统一网络的端到端训练，联合优化建议框生成与检测过程。

提出的方法

• MS-CNN架构由共享主干网络、建议框子网络和检测子网络组成，两者均实现端到端训练。
• 在多个中间层（如conv-3、conv-5）进行检测，每层的感受野均匹配特定的物体尺度范围。
• 利用不同层的特征图生成针对特定尺度的物体建议框，随后将这些建议框合并，形成鲁棒的多尺度检测器。
• 引入反卷积层对特征图进行上采样，增强小物体的响应，而无需对输入图像进行上采样。
• 采用上下文编码模块和通道降维卷积，以提升特征表示能力，同时最小化参数增长。
• 应用困难负样本挖掘和多任务损失优化，以提高训练效率和检测精度。

实验结果

研究问题

• RQ1 能否通过利用具有不同感受野的中间特征图，在单一统一的深度网络中有效实现多尺度检测？
• RQ2 在小物体检测中，基于反卷积的特征上采样是否在速度、内存效率和检测精度方面优于输入图像上采样？
• RQ3 统一网络架构是否能在具有显著尺度变化的数据集上实现最先进检测性能，同时保持10–15 fps的实时推理速度？
• RQ4 通过融合多尺度特征图上的检测器，如何提升召回率和精确率，特别是在小物体和遮挡物体上？
• RQ5 通过反卷积进行特征图近似，在不降低检测性能的前提下，能在多大程度上减少计算成本？

主要发现

• 在KITTI数据集上，MS-CNN仅用100个建议框即可实现超过95%的召回率，证明了其高质量的物体建议生成能力。
• 在KITTI基准上，MS-CNN在行人和自行车检测任务中创下新的最先进结果，在中等难度设置下较Faster R-CNN和3DOP提升6–7个百分点。
• 在KITTI（1250×375）上实现10 fps，在Caltech（640×480）上实现15 fps，且无需输入图像上采样，显著快于3DOP（快8倍）。
• 基于反卷积的特征上采样相比输入图像上采样，显著降低了内存和计算成本，且对精度影响极小。
• 在Caltech行人检测基准上，MS-CNN优于DeepParts及其他领先方法，尤其在中等和部分遮挡场景下表现更优。
• 引入上下文编码和通道降维机制，在仅小幅增加参数量的前提下，显著提升了模型性能，同时保持了参数量的可控性。