[论文解读] CBAM: Convolutional Block Attention Module

Sanghyun Woo, Jongchan Park+2 more|arXiv (Cornell University)|Jul 17, 2018

Advanced Neural Network Applications参考文献 12被引用 336

一句话总结

介绍了 CBAM，一种以顺序方式将通道注意力和空间注意力应用到中间 CNN 特征图的轻量级注意力模块，在最小开销下提升分类与检测性能。它在 ImageNet、MS COCO 和 VOC2007 上表现出持续的增益。

ABSTRACT

We propose Convolutional Block Attention Module (CBAM), a simple yet effective attention module for feed-forward convolutional neural networks. Given an intermediate feature map, our module sequentially infers attention maps along two separate dimensions, channel and spatial, then the attention maps are multiplied to the input feature map for adaptive feature refinement. Because CBAM is a lightweight and general module, it can be integrated into any CNN architectures seamlessly with negligible overheads and is end-to-end trainable along with base CNNs. We validate our CBAM through extensive experiments on ImageNet-1K, MS~COCO detection, and VOC~2007 detection datasets. Our experiments show consistent improvements in classification and detection performances with various models, demonstrating the wide applicability of CBAM. The code and models will be publicly available.

研究动机与目标

• 提出一种轻量级注意力机制，以提升 CNN 的特征表示。
• 提出一个两分支注意力模块（通道和空间），可集成到现有 CNN 中。
• 在大规模分类与检测基准上展示改进。
• 证明顺序的通道再空间注意力比并行安排在性能上更优。

提出的方法

• 通过一个共享的 MLP（降维比 r）处理的平均池化和最大池化的空间描述符来计算 1D 通道注意力图。
• 通过通道池化描述符并经 7x7 卷积计算 2D 空间注意力图。
• 先应用通道注意力以细化 F，然后应用空间注意力以细化结果（F'' = M_s(F' ) ⊗ F').
• 采用顺序（先通道再空间）的通道与空间模块组合以获得最佳性能。
• 将 CBAM 作为轻量级的插拔模块集成到各种架构的卷积块输出处（如 ResNet 变体）。
• 在 ImageNet-1K 分类和 MS COCO / VOC 2007 检测上使用复现的 PyTorch 实现进行评估。

实验结果

研究问题

• RQ1 在顺序 CBAM 中将通道和空间注意力结合是否比单分支注意力提升特征细化？
• RQ2 相较于仅使用平均池化的 SE，通道注意力同时使用平均与最大池化描述符是否更有益？
• RQ3 注意力排列（顺序 vs 并行）对性能有何影响？
• RQ4 CBAM 如何在不同架构和任务（分类与检测）中影响性能？

主要发现

体系结构	参数	GFLOPs	Top-1 误差率 (%)	Top-5 误差率 (%)
ResNet50	28.09M	3.864	22.66	6.31
ResNet50 + SE	28.09M	3.860	23.14	6.70
ResNet50 (Baseline)	25.56M	3.858	24.56	7.50

• CBAM 在 ImageNet-1K 的多种架构上超过基线和 SE（例如，在 ResNet50 上：Top-1 22.66%（CBAM） vs 23.14%（SE））。
• 通道注意力使用平均和最大池化描述符的组合比单独使用任一者时精度更高。
• 使用通道池化描述符和 7x7 卷积的空间注意力提供最佳的空间细化。
• 顺序通道优先的排列在各场景中稳定优于空间-通道或并行排列。
• CBAM 也在 MS COCO 和 VOC 2007 的检测性能上有所提升，参数开销微乎其微。