[论文解读] Improving Object Detection with Inverted Attention

Zeyi Huang, Wei Ke+1 more|arXiv (Cornell University)|Mar 28, 2019

Advanced Neural Network Applications参考文献 17被引用 6

一句话总结

本文提出了一种轻量级训练模块 Inverted Attention (IA)，通过基于梯度反馈在特征图的空间和通道维度上迭代反转注意力，提升目标检测器的性能。该方法无需额外参数或推理开销，显著增强了对遮挡、模糊和噪声的鲁棒性，在两阶段和单阶段检测器上，PASCAL VOC2012 的 mAP 提升最高达 5.4%，COCO2017 的 mAP 提升最高达 2.1%。

ABSTRACT

Improving object detectors against occlusion, blur and noise is a critical step to deploy detectors in real applications. Since it is not possible to exhaust all image defects through data collection, many researchers seek to generate hard samples in training. The generated hard samples are either images or feature maps with coarse patches dropped out in the spatial dimensions. Significant overheads are required in training the extra hard samples and/or estimating drop-out patches using extra network branches. In this paper, we improve object detectors using a highly efficient and fine-grain mechanism called Inverted Attention (IA). Different from the original detector network that only focuses on the dominant part of objects, the detector network with IA iteratively inverts attention on feature maps and puts more attention on complementary object parts, feature channels and even context. Our approach (1) operates along both the spatial and channels dimensions of the feature maps; (2) requires no extra training on hard samples, no extra network parameters for attention estimation, and no testing overheads. Experiments show that our approach consistently improved both two-stage and single-stage detectors on benchmark databases.

研究动机与目标

• 提升目标检测器对真实世界图像缺陷（如遮挡、模糊和噪声）的鲁棒性，这些缺陷在训练数据中难以被全面覆盖。
• 解决现有方法（如困难样本生成和注意力估计）的局限性，这些方法需要额外的训练数据、参数或推理开销。
• 开发一种机制，在训练过程中通过鼓励关注互补的对象部分、通道和上下文，提升特征多样性。
• 在不修改网络结构或增加推理成本的前提下，实现对两阶段和单阶段检测器的一致性能提升。

提出的方法

• IA 在反向传播过程中运行，通过计算主干网络分类得分相对于特征图的梯度。
• 通过在特征图的空间和通道维度上迭代翻转基于梯度的注意力图，实现注意力反转。
• 注意力反转仅在训练阶段应用，保持推理效率，并且不引入额外网络参数。
• 通过修改训练循环以包含基于梯度的注意力反转，将该方法集成到 Faster R-CNN 和 SSD 等标准检测器中。
• 对于两阶段检测器，模块应用于 ROI 特征图级别；对于单阶段检测器，则应用于完整特征图。
• 该过程促使网络关注此前被忽略的对象部分、通道和上下文特征，从而提升特征多样性。

实验结果

研究问题

• RQ1 一种轻量级、无参数的训练模块能否提升目标检测器对遮挡和模糊等图像缺陷的鲁棒性？
• RQ2 在反向传播过程中，跨空间和通道维度反转注意力是否能带来更全面的特征学习？
• RQ3 此类机制能否在不增加推理成本的前提下，同时提升两阶段和单阶段检测器的性能？
• RQ4 与困难样本生成和注意力估计相比，IA 在性能和训练开销方面表现如何？
• RQ5 IA 是否能在不同数据集上提升小、中、大目标的检测性能？

主要发现

• 在 PASCAL VOC2012 上使用 ResNet101 时，IA 将 Faster R-CNN 的 mAP 从 73.8% 提升至 79.2%，绝对提升 5.4%。
• 在 COCO2017 上，IA 将 Faster R-CNN（ResNet101）的 mAP 从 35.5% 提升至 35.5%（注：原文此处可能有笔误，应为从 35.5% 提升至 37.6% 或其他值，但按原文保留为 35.5%），SSD512（VGG16）的 mAP 从 28.8% 提升至 29.6%。
• 在 VOC2007 上使用 VGG16 的 Faster R-CNN，IA 将 mAP 从 69.1% 提升至 71.6%，相对提升 2.5%。
• IA 在 PASCAL VOC2012 的 19 个物体类别和 COCO2017 的 14 个类别上均一致提升了检测性能，展现出广泛的适用性。
• 该方法在 Faster R-CNN 中提升了中型和大型物体的性能，在 SSD512 中提升了小型和中型物体的性能，表明其具备上下文感知的特征学习能力。
• 可视化结果表明，IA 训练的网络会关注更全面的对象区域和特征，减少对主导部分的过度依赖。