[论文解读] Attentive Contexts for Object Detection

Jianan Li, Yunchao Wei+5 more|arXiv (Cornell University)|Mar 24, 2016

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出AC-CNN，一种新颖的物体检测框架，通过注意力机制整合全局与局部上下文特征，从而提升如Fast R-CNN等基于区域的CNN模型的性能。该方法采用基于堆叠LSTM的注意力网络突出有用全局上下文，同时利用多尺度上下文模块增强提议区域周围的特征，分别在PASCAL VOC 2007和2012上实现相较于Fast R-CNN的2.0%和2.2% mAP提升。

ABSTRACT

Modern deep neural network based object detection methods typically classify candidate proposals using their interior features. However, global and local surrounding contexts that are believed to be valuable for object detection are not fully exploited by existing methods yet. In this work, we take a step towards understanding what is a robust practice to extract and utilize contextual information to facilitate object detection in practice. Specifically, we consider the following two questions: "how to identify useful global contextual information for detecting a certain object?" and "how to exploit local context surrounding a proposal for better inferring its contents?". We provide preliminary answers to these questions through developing a novel Attention to Context Convolution Neural Network (AC-CNN) based object detection model. AC-CNN effectively incorporates global and local contextual information into the region-based CNN (e.g. Fast RCNN) detection model and provides better object detection performance. It consists of one attention-based global contextualized (AGC) sub-network and one multi-scale local contextualized (MLC) sub-network. To capture global context, the AGC sub-network recurrently generates an attention map for an input image to highlight useful global contextual locations, through multiple stacked Long Short-Term Memory (LSTM) layers. For capturing surrounding local context, the MLC sub-network exploits both the inside and outside contextual information of each specific proposal at multiple scales. The global and local context are then fused together for making the final decision for detection. Extensive experiments on PASCAL VOC 2007 and VOC 2012 well demonstrate the superiority of the proposed AC-CNN over well-established baselines. In particular, AC-CNN outperforms the popular Fast-RCNN by 2.0% and 2.2% on VOC 2007 and VOC 2012 in terms of mAP, respectively.

研究动机与目标

• 探究如何有效识别并利用全局与局部上下文信息以提升物体检测性能。
• 解决现有方法仅依赖内部提议特征的局限性，这些特征可能不足以检测小尺寸、遮挡或低分辨率的物体。
• 开发一种统一的深度学习框架，整合基于注意力的全局上下文建模与多尺度局部上下文增强。
• 证明上下文感知的特征学习显著提升检测性能，尤其在具有挑战性的物体类别上。

提出的方法

• AC-CNN框架由两个主要子网络组成：基于注意力的全局上下文化（AGC）网络和多尺度局部上下文化（MLC）网络。
• AGC子网络使用堆叠的长短期记忆（LSTM）层，迭代生成注意力图，以突出输入图像中显著的全局上下文区域。
• 随后，通过基于注意力图选择性聚合特征图来计算全局上下文特征，重点关注相关背景及共现物体。
• MLC子网络通过使用预设的缩放比例，在多个尺度上提取并融合提议区域内部和外部的上下文特征，以增强每个提议。
• 将全局与局部上下文特征拼接后输入最终的分类与边界框回归头进行检测。
• 模型采用多任务损失函数进行端到端训练，联合优化分类与定位任务，同时从边界框回归中排除全局上下文，以保持定位精度。

实验结果

研究问题

• RQ1 如何自动识别并突出显示对物体检测有用的全局上下文信息？
• RQ2 如何在多个尺度上有效捕捉并整合提议区域内部和外部的局部上下文信息？
• RQ3 结合全局与局部上下文对物体检测性能有何影响，特别是在小尺寸或遮挡物体上？
• RQ4 为何引入全局上下文会降低边界框回归性能，以及如何缓解此问题？

主要发现

• AC-CNN在PASCAL VOC 2007测试集上相比Fast R-CNN实现2.0%的mAP提升，在VOC 2012上实现2.2%的提升。
• 该模型显著降低了如'bottle'、'pottedplant'和'chair'等具有挑战性的类别中的误报率，这些类别的检测准确率提升了5%。
• 从边界框回归中排除全局上下文后，mAP提升0.1%，证实全局上下文可能干扰精确定位。
• 可视化分析显示，注意力机制成功突出显示了语义相关的背景区域（如道路或人物），有助于物体分类。
• 定性结果表明，AC-CNN在小尺寸物体和遮挡实例上表现更优，能够检测到Fast R-CNN遗漏的物体。
• 多尺度局部上下文模块有助于提升特征表示能力，尤其适用于具有复杂或部分外观的物体。