[论文解读] Dual-attention Focused Module for Weakly Supervised Object Localization

Yukun Zhou, Zailiang Chen+4 more|arXiv (Cornell University)|Sep 11, 2019

Advanced Neural Network Applications参考文献 30被引用 4

一句话总结

本文提出双注意力聚焦模块（DFM），一种用于弱监督目标定位的新注意力机制，通过联合建模空间注意力与通道注意力来增强特征表示。通过引入位置分支与通道分支，并结合聚焦矩阵正则化与特征融合，DFM 提升了定位精度，在 ILSVRC 2016 与 CUB-200-2011 基准上达到最先进性能。

ABSTRACT

The research on recognizing the most discriminative regions provides referential information for weakly supervised object localization with only image-level annotations. However, the most discriminative regions usually conceal the other parts of the object, thereby impeding entire object recognition and localization. To tackle this problem, the Dual-attention Focused Module (DFM) is proposed to enhance object localization performance. Specifically, we present a dual attention module for information fusion, consisting of a position branch and a channel one. In each branch, the input feature map is deduced into an enhancement map and a mask map, thereby highlighting the most discriminative parts or hiding them. For the position mask map, we introduce a focused matrix to enhance it, which utilizes the principle that the pixels of an object are continuous. Between these two branches, the enhancement map is integrated with the mask map, aiming at partially compensating the lost information and diversifies the features. With the dual-attention module and focused matrix, the entire object region could be precisely recognized with implicit information. We demonstrate outperforming results of DFM in experiments. In particular, DFM achieves state-of-the-art performance in localization accuracy in ILSVRC 2016 and CUB-200-2011.

研究动机与目标

• 为解决仅有图像级标签时弱监督目标检测中对象定位不完整的问题。
• 通过聚焦显著区域同时保留完整对象的上下文信息，提升特征表示能力。
• 缓解定位过程中高度判别性区域遮挡隐藏对象部分的问题。
• 通过一种新型注意力机制，有效融合空间与通道特征，提升定位性能。

提出的方法

• 双注意力聚焦模块（DFM）由两个并行分支组成：分别用于空间注意力与通道注意力的位置分支和通道分支。
• 每个分支从输入特征图生成增强图与掩码图，以突出或抑制特定特征。
• 在位置分支中引入聚焦矩阵，以强制保持对象像素的空间连续性，提升定位一致性。
• 将每个分支的增强图与对应掩码图融合，以恢复丢失特征并丰富表示。
• 融合后的特征用于优化最终定位图，以极低计算开销提升检测精度。
• 该模块被集成至标准弱监督目标检测框架中，采用交叉熵损失端到端训练。

实验结果

研究问题

• RQ1 如何设计注意力机制，使其在聚焦显著区域的同时不丢失完整对象的上下文信息？
• RQ2 空间连续性约束是否能增强弱监督设定下目标定位的鲁棒性？
• RQ3 联合建模空间与通道注意力在多大程度上能提升弱监督目标定位的特征表示？
• RQ4 所提出的双注意力模块结合聚焦矩阵正则化是否在标准基准上优于现有注意力机制？

主要发现

• DFM 在 ILSVRC 2016 数据集上实现了最先进平均交并比（mIoU）性能，优于先前方法。
• 在 CUB-200-2011 基准上，DFM 在所有对比的弱监督方法中实现了最高的定位精度。
• 消融实验表明，双注意力机制与聚焦矩阵均对性能提升有显著贡献。
• 该方法在多种对象类别与复杂背景中表现出强鲁棒性，表明其具备优异的泛化能力。