[论文解读] Zoom Out-and-In Network with Map Attention Decision for Region Proposal and Object Detection

Hongyang Li, Yu Liu+2 more|arXiv (Cornell University)|Sep 13, 2017

Advanced Neural Network Applications参考文献 48被引用 6

一句话总结

本文提出一种带有地图注意力决策的缩放-展开网络（ZIP-MAD），通过反卷积上采样结合低层次细节与高层次语义信息，提升小目标检测性能。地图注意力决策单元在训练过程中自适应选择并强调最具贡献的特征图，从而在PASCAL VOC 2007、ImageNet DET和MS COCO等多个基准上提升区域建议框的召回率与检测mAP。

ABSTRACT

In this paper, we propose a zoom-out-and-in network for generating object proposals. A key observation is that it is difficult to classify anchors of different sizes with the same set of features. Anchors of different sizes should be placed accordingly based on different depth within a network: smaller boxes on high-resolution layers with a smaller stride while larger boxes on low-resolution counterparts with a larger stride. Inspired by the conv/deconv structure, we fully leverage the low-level local details and high-level regional semantics from two feature map streams, which are complimentary to each other, to identify the objectness in an image. A map attention decision (MAD) unit is further proposed to aggressively search for neuron activations among two streams and attend the most contributive ones on the feature learning of the final loss. The unit serves as a decisionmaker to adaptively activate maps along certain channels with the solely purpose of optimizing the overall training loss. One advantage of MAD is that the learned weights enforced on each feature channel is predicted on-the-fly based on the input context, which is more suitable than the fixed enforcement of a convolutional kernel. Experimental results on three datasets, including PASCAL VOC 2007, ImageNet DET, MS COCO, demonstrate the effectiveness of our proposed algorithm over other state-of-the-arts, in terms of average recall (AR) for region proposal and average precision (AP) for object detection.

研究动机与目标

• 解决由于特征图步长大而导致区域建议网络在检测小目标时面临的挑战。
• 通过多尺度特征流，克服仅使用单一特征图处理不同尺寸锚框的局限性。
• 通过反卷积融合高层语义特征与低层空间细节，提升小目标的特征表示能力。
• 开发一种动态注意力机制，自适应选择信息量丰富的特征图以优化训练损失。
• 在多个基准上实现区域建议生成与物体检测的最先进性能。

提出的方法

• 提出一种缩放-展开网络，对多尺度特征进行处理：低分辨率特征用于大目标，高分辨率特征用于小目标。
• 使用反卷积层将高层特征上采样至与低层特征相同的分辨率，实现细粒度定位。
• 引入地图注意力决策（MAD）单元，学习一个选择性向量μ，动态关注来自两条路径中最具信息量的特征图。
• MAD单元基于通道维度计算注意力权重，实现上下文相关的特征选择，从而优化最终损失的优化过程。
• 采用多任务损失进行网络训练，结合区域建议分类与边界框回归任务，MAD引导特征学习过程。
• 将ZIP-MAD框架集成至两阶段检测器（如R-FCN）与一阶段检测器（如SSD）中，评估其泛化能力与性能增益。

Figure 1: (a) Input image where blue and green objects are being examined. (b) A larger stride in higher layers miss the green box between two adjacent anchors. (c) This motivates us to place small-scale anchors in the preceding layers with a smaller stride.

实验结果

研究问题

• RQ1 结合低层次细节与高层次语义的双流特征融合策略，能否提升小目标的区域建议质量？
• RQ2 通过可学习注意力机制实现动态特征图选择，是否能带来区域建议网络损失的更好优化？
• RQ3 所提出的缩放-展开架构是否能在多样化的数据集上超越标准RPN，在平均召回率（AR）与平均精度（AP）方面表现更优？
• RQ4 与固定卷积核相比，MAP注意力机制在特征表示与训练收敛性方面表现如何？
• RQ5 ZIP-MAD框架在两阶段与一阶段物体检测流程中的泛化能力如何？

主要发现

• 在PASCAL VOC 2007上，ZIP-MAD使用R-FCN检测器达到79.8%的mAP，优于基线SSD（76.8%）与先前最先进方法。
• 在MS COCO上，ZIP-MAD在1000个提议框下达到88.3%的平均召回率（AR），显著优于选择性搜索（75.6%）与边缘框（75.5%）。
• 在ImageNet DET上，ZIP-MAD达到85.4%的mAP，展现出在大规模检测基准上的强大泛化能力。
• MAP注意力单元相比无注意力机制的基线ZIP模型，带来2.7%的mAP增益，证明其在特征选择中的有效性。
• 在一阶段检测中使用SSD时，ZIP-MAD将mAP从76.8%提升至78.1%，表明其在端到端训练中亦具强大性能。
• 消融实验表明，反卷积上采样与MAD单元的组合带来最高性能，其中仅MAD单元本身即使mAP提升1.3%。

Figure 2: Different network design for region proposals. (a) RPN (Ren et al.,, 2015 ) ; (b) RPN with split anchors; (c) Deeper RPN with split anchors; (d) Zoom out-and-in network adopted in this paper.