[论文解读] Context-Aware Single-Shot Detector

Wei Xiang, Dongqing Zhang+2 more|arXiv (Cornell University)|Jul 27, 2017

Advanced Neural Network Applications参考文献 20被引用 6

一句话总结

本文提出CSSD，一种上下文感知的单阶段检测器，通过在空洞卷积或转置卷积层中整合多尺度上下文特征，显著提升了SSD的检测精度——尤其在小目标检测方面，通过扩展有效感受野而不牺牲实时推理速度。

ABSTRACT

SSD is one of the state-of-the-art object detection algorithms, and it combines high detection accuracy with real-time speed. However, it is widely recognized that SSD is less accurate in detecting small objects compared to large objects, because it ignores the context from outside the proposal boxes. In this paper, we present CSSD--a shorthand for context-aware single-shot multibox object detector. CSSD is built on top of SSD, with additional layers modeling multi-scale contexts. We describe two variants of CSSD, which differ in their context layers, using dilated convolution layers (DiCSSD) and deconvolution layers (DeCSSD) respectively. The experimental results show that the multi-scale context modeling significantly improves the detection accuracy. In addition, we study the relationship between effective receptive fields (ERFs) and the theoretical receptive fields (TRFs), particularly on a VGGNet. The empirical results further strengthen our conclusion that SSD coupled with context layers achieves better detection results especially for small objects ($+3.2\% { m AP}_{@0.5}$ on MS-COCO compared to the newest SSD), while maintaining comparable runtime performance.

研究动机与目标

• 为解决SSD因上下文感知能力有限而导致小目标检测性能较差的问题。
• 分析卷积神经网络（CNN）中理论感受野（TRF）与有效感受野（ERF）之间的差异，特别是针对VGG16网络。
• 在不增加计算成本的前提下，通过引入多尺度上下文特征来提升SSD的检测精度。
• 提出两种变体——DiCSSD（空洞卷积）和DeCSSD（转置卷积），在特征融合过程中学习可学习的缩放参数。
• 验证上下文建模能显著提升检测性能，尤其是在小目标和遮挡目标检测方面。

提出的方法

• CSSD通过添加上下文层扩展SSD，以从高层特征图中捕获多尺度上下文特征。
• DiCSSD使用可调节感受野率的空洞卷积，扩大感受野的同时保持空间分辨率。
• DeCSSD直接重用深层特征图，并通过可学习的缩放参数将其与低层特征进行融合。
• 两种变体通过端到端训练集成上下文特征，使网络能够学习最优的融合权重。
• 该方法仅在现有SSD模块之上添加轻量级可学习层，保持SSD的单阶段推理机制。
• 通过有效感受野（ERF）分析，验证了ERF远小于理论感受野（TRF），从而证明了上下文建模的必要性。

实验结果

研究问题

• RQ1 CNN层的有效感受野（ERF）与理论感受野（TRF）相比如何？这种差异对目标检测有何影响？
• RQ2 多尺度上下文建模能否提升SSD的检测精度，特别是对小目标？
• RQ3 通过空洞卷积（DiCSSD）或转置卷积（DeCSSD）集成上下文特征，是否比标准SSD表现更优？
• RQ4 与基线SSD相比，所提出的上下文层对推理速度和内存消耗有何影响？
• RQ5 在遮挡或目标截断等挑战性条件下，上下文集成在多大程度上提升了检测性能？

主要发现

• 采用空洞卷积的CSSD（DiCSSD）在MS-COCO数据集上相比最新SSD实现+3.2%的AP@0.5提升，且在所有测试模型中mAP最高。
• 对于小目标，DiCSSD的平均精度达到8.2%（SSD为6.6%），召回率高达15.4%（所有方法中最高），表明性能显著提升。
• 在PASCAL VOC 2007上，DiCSSD保持40.8 FPS的实时推理速度，优于DSSD（9.5 FPS），尽管其使用了更轻量的VGG16主干网络。
• SSD中conv4_3层的有效感受野（ERF）仅比其网格尺度大1.9倍，证实ERF远小于TRF，从而验证了上下文建模的合理性。
• DiCSSD和DeCSSD在PASCAL VOC 2007上分别比标准SSD提升0.6%和0.1%的mAP，且计算开销极低。
• 在DETRAC数据集上，DiCSSD在所有输入分辨率下均表现最佳，验证了其鲁棒性与泛化能力。