[论文解读] Attentional Network for Visual Object Detection

Kota Hara, Ming-Yu Liu+2 more|arXiv (Cornell University)|Feb 6, 2017

Visual Attention and Saliency Detection参考文献 24被引用 21

一句话总结

本文提出了一种名为注意力目标检测（AOD）的新型深度学习架构，通过在目标提议区域上自适应地生成序列化、可变尺寸的注视图像，模拟人类视觉注意力机制，从而提升检测精度。由于缺乏真实注意力标注，该网络采用强化学习进行训练，在使用CaffeNet和VGG16主干网络的情况下，于多个PASCAL VOC基准测试中，AOD网络在mAP指标上持续优于基线Faster R-CNN模型。

ABSTRACT

We propose augmenting deep neural networks with an attention mechanism for the visual object detection task. As perceiving a scene, humans have the capability of multiple fixation points, each attended to scene content at different locations and scales. However, such a mechanism is missing in the current state-of-the-art visual object detection methods. Inspired by the human vision system, we propose a novel deep network architecture that imitates this attention mechanism. As detecting objects in an image, the network adaptively places a sequence of glimpses of different shapes at different locations in the image. Evidences of the presence of an object and its location are extracted from these glimpses, which are then fused for estimating the object class and bounding box coordinates. Due to lacks of ground truth annotations of the visual attention mechanism, we train our network using a reinforcement learning algorithm with policy gradients. Experiment results on standard object detection benchmarks show that the proposed network consistently outperforms the baseline networks that does not model the attention mechanism.

研究动机与目标

• 通过在深度神经网络中建模类人多注视注意力机制，提升视觉目标检测性能。
• 解决目标检测数据集中缺乏视觉注意力真实标注的问题。
• 设计一种可训练的端到端架构，能够生成自适应的注视图像（位置、尺寸和宽高比可变），以提升特征提取效果。
• 证明序列化、基于注意力的特征聚合优于单次观测的基线方法。

提出的方法

• AOD网络使用堆叠的循环模块，在提议区域上生成一系列注视图像，每个注视图像的位置和形状均基于先前观测结果自适应调整。
• 区域感兴趣（RoI）池化层从最终卷积特征图上的每个注视区域提取固定维数的特征。
• 循环网络（类似LSTM）随时间处理注视图像特征，并在每一步使用全连接层更新注视位置（x, y）和尺寸（宽度、高度）。
• 最终决策——包括物体类别和边界框——由所有注视图像特征的逐元素最大池化操作生成，随后通过Softmax分类头和回归头进行预测。
• 由于不存在真实注意力标签，网络采用策略梯度强化学习（REINFORCE）进行训练，以最大化检测mAP性能。
• 该模型支持可变形状的注视图像，从而实现灵活的感受野，可自适应应对物体外观和尺度的变化。

实验结果

研究问题

• RQ1 与单次观测基线相比，具备自适应、序列化注视图像的深度网络是否能提升目标检测性能？
• RQ2 在复杂目标检测场景中，能够调整注视图像形状和尺寸的能力如何影响检测精度？
• RQ3 在缺乏真实注意力标注的情况下，强化学习框架能否有效训练用于目标检测的注意力机制？
• RQ4 在精度与推理效率之间取得平衡时，最优的注视图像数量（T）是多少？
• RQ5 该注意力机制在具有不同尺度、形变和外观特征的多样化物体类别上表现如何？

主要发现

• 在使用VGG16主干网络的PASCAL VOC 2007基准上，AOD网络在T=3次注视时达到67.5%的mAP，优于基线Fast R-CNN的66.9%。
• 在VOC 2012上，AOD模型在T=3时达到66.7%的mAP，而Fast R-CNN为65.7%，表明在不同数据集上均保持一致的性能提升。
• 在VOC 2007+2012数据集上，使用T=3次注视和VGG16主干网络时，AOD网络达到71.3%的mAP，超过Fast R-CNN的70.0%。
• 在VOC 2007++2012数据集上，AOD模型在T=3时达到69.4%的mAP，优于Fast R-CNN的68.4%，证实了其在不同训练数据设置下的鲁棒性。
• 消融实验表明，允许任意形状的注视图像（而非仅固定x/y偏移）显著提升了性能，证明了形状与尺度自适应的重要性。
• 性能增益在各类物体类别中均保持一致，尤其在“person”、“bottle”和“sheep”等具有挑战性的类别上表现突出。