[论文解读] BAM: Bottleneck Attention Module

Jongchan Park, Sanghyun Woo+2 more|arXiv (Cornell University)|Jul 17, 2018

Advanced Neural Network Applications被引用 48

一句话总结

BAM 引入一个轻量级 Bottleneck 注意力模块，在网络瓶颈处的通道和空间注意力流，改进分类与检测，开销极小，适用于 CIFAR-100、ImageNet、VOC2007、COCO。

ABSTRACT

Recent advances in deep neural networks have been developed via architecture search for stronger representational power. In this work, we focus on the effect of attention in general deep neural networks. We propose a simple and effective attention module, named Bottleneck Attention Module (BAM), that can be integrated with any feed-forward convolutional neural networks. Our module infers an attention map along two separate pathways, channel and spatial. We place our module at each bottleneck of models where the downsampling of feature maps occurs. Our module constructs a hierarchical attention at bottlenecks with a number of parameters and it is trainable in an end-to-end manner jointly with any feed-forward models. We validate our BAM through extensive experiments on CIFAR-100, ImageNet-1K, VOC 2007 and MS COCO benchmarks. Our experiments show consistent improvement in classification and detection performances with various models, demonstrating the wide applicability of BAM. The code and models will be publicly available.

研究动机与目标

• 使用注意力来提升 CNN 表达能力而不进行重型架构修改的动机。
• 提出一个简单、可训练的注意力模块，可以集成到任何 CNN。
• 证明将 BAM 放在网络瓶颈处能产生分层、有效的注意力。
• 展示 BAM 在多种基准和任务（分类与检测）上的有效性。

提出的方法

• 通过对三维特征图 F 的两个分支：通道注意力 M_c(F) 和空间注意力 M_s(F)，计算三维注意力图 M(F)。
• 通道分支使用全局平均池化，后跟一个两层 MLP，压缩比 r，并接一个 BN 层，产生 M_c(F)。
• 空间分支使用带瓶颈的路径，1x1 与 3x3 扩张卷积（扩张率 d）来产生 M_s(F)。
• 通过逐元素相加再用 sigmoid 形成 M(F)。
• 使用残差注意力对特征进行细化：F' = F + F ⊗ M(F)。
• 将 BAM 放在 CNN 的瓶颈处（下采样点），在层之间形成分层注意力。
• 超参数包括扩张率 d 和压缩比 r（经验值 d=4，r=16）。
• 在 CIFAR-100、ImageNet-1K、VOC 2007、MS COCO 上评估 BAM，展示广泛适用性。

实验结果

研究问题

• RQ1 BAM 在标准基准上是否能在不显著额外开销的情况下提升 CNN 性能？
• RQ2 通道与空间注意力分支在性能提升中各自及共同的贡献？
• RQ3 将 BAM 放在网络瓶颈处是否比其他位置或简单深度增加更有效？
• RQ4 BAM 对各种体系结构和任务（分类与检测）的影响是什么？

主要发现

• BAM 在 CIFAR-100 和 ImageNet-1K 的多种架构上持续提升准确性，优于基线。
• 同时使用通道和空间分支比任一分支单独使用带来更大收益。
• 放在瓶颈处的 BAM 提供高效性，与简单深度增加相比带来更好的精度提升。
• 通过逐元素相加再经 sigmoid 将通道和空间注意力结合，支持稳定的梯度流并且比乘积或最大值变体有更好结果。
• 将 BAM 与 Faster-RCNN 和基于 SSD 的检测器结合时，对 MS COCO 和 VOC 2007 的目标检测性能也有提升，且开销极小。