[论文解读] ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks

Qilong Wang, Banggu Wu+4 more|arXiv (Cornell University)|Oct 8, 2019

Advanced Neural Network Applications参考文献 33被引用 379

一句话总结

ECA-Net 引入一种高效通道注意力模块，放弃维度缩减，使用具有自适应核大小的一维卷积以捕捉局部跨通道交互，带来极少额外参数的性能提升。它在 ImageNet 分类和 COCO 检测/分割上实现了与现有注意力模块相比更低复杂度的竞争或优越结果。

ABSTRACT

Recently, channel attention mechanism has demonstrated to offer great potential in improving the performance of deep convolutional neural networks (CNNs). However, most existing methods dedicate to developing more sophisticated attention modules for achieving better performance, which inevitably increase model complexity. To overcome the paradox of performance and complexity trade-off, this paper proposes an Efficient Channel Attention (ECA) module, which only involves a handful of parameters while bringing clear performance gain. By dissecting the channel attention module in SENet, we empirically show avoiding dimensionality reduction is important for learning channel attention, and appropriate cross-channel interaction can preserve performance while significantly decreasing model complexity. Therefore, we propose a local cross-channel interaction strategy without dimensionality reduction, which can be efficiently implemented via $1D$ convolution. Furthermore, we develop a method to adaptively select kernel size of $1D$ convolution, determining coverage of local cross-channel interaction. The proposed ECA module is efficient yet effective, e.g., the parameters and computations of our modules against backbone of ResNet50 are 80 vs. 24.37M and 4.7e-4 GFLOPs vs. 3.86 GFLOPs, respectively, and the performance boost is more than 2% in terms of Top-1 accuracy. We extensively evaluate our ECA module on image classification, object detection and instance segmentation with backbones of ResNets and MobileNetV2. The experimental results show our module is more efficient while performing favorably against its counterparts.

研究动机与目标

• 就模型复杂度与性能来动机与分析通道注意力机制。
• 提出一个轻量级的注意力模块，在捕捉跨通道交互的同时避免维度缩减。
• 证明一维卷积的自适应核大小能够实现有效的通道注意力。
• 在图像分类、目标检测和实例分割任务中评估 ECA-Net。

提出的方法

• 回顾 SE 块，分析维度缩减与跨通道交互的影响。
• 提出 ECA：在通道层池化特征上用一维卷积（C1D）替代全连接激励，且不进行维度缩减。
• 对一维卷积设定自适应核大小 k，由通道维度 C 的非线性映射决定。
• 将 ECA 作为插件模块替换现有骨干网络中的 SE 块（ECA-Net）。
• 提供 PyTorch 实现并报告参数量、FLOPs 与准确性提升。

实验结果

研究问题

• RQ1 避免维度缩减是否能在学习通道注意力方面优于 SE 块？
• RQ2 由轻量级的一维卷积捕获的局部跨通道交互能否在参数极少的情况下实现具有竞争力的提升？
• RQ3 一维卷积的自适应核大小在不同的 CNN 骨干和任务中是否有益？
• RQ4 与同行相比，ECA-Net 在 ImageNet 分类与 COCO 目标检测/实例分割上的表现如何？

主要发现

• 在没有维度缩减的情况下，ECA 的表现始终优于带有缩减的变体，并且以大幅更少的参数实现增益。
• 核大小为 k 的一维卷积（通过通道维自适应）能够有效建模局部跨通道交互。
• 对于参数量为 24.37M 的 ResNet-50，ECA-Net 额外增加 80 个参数和 4.7e-4 GFLOPs，同时将 Top-1 提升 2.28%。
• ECA-Net 在 ImageNet 上显示出相对于 SENet/CBAM/GCNet/A2-Net 的竞争力或更优的性能，同时复杂度更低。
• 在 MobileNetV2 上，ECA-Net 给出精度提升，同时相对于 SE 块的参数和 FLOP 增量很小。
• ECA 也为 MS COCO 检测器（Faster R-CNN、Mask R-CNN、RetinaNet）在基线 ResNet 和 SE 块之上提供改进，包括对小目标的更好表现。