[论文解读] BA-Net: Bridge Attention for Deep Convolutional Neural Networks

Yue Zhao, Junzhou Chen+2 more|arXiv (Cornell University)|Dec 8, 2021

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出BA-Net，一种新颖的注意力机制，通过在每个残差块内使用批量归一化和全连接层，连接所有卷积层的特征，从而增强深度CNN。通过整合多级特征而非仅依赖前一邻接层，BA-Net在计算开销极低的情况下实现更优性能，在使用ResNet-50时，ImageNet上的top-1准确率比SENet高出0.71%。

ABSTRACT

In recent years, channel attention mechanism has been widely investigated due to its great potential in improving the performance of deep convolutional neural networks (CNNs) in many vision tasks. However, in most of the existing methods, only the output of the adjacent convolution layer is fed into the attention layer for calculating the channel weights. Information from other convolution layers has been ignored. With these observations, a simple strategy, named Bridge Attention Net (BA-Net), is proposed in this paper for better performance with channel attention mechanisms. The core idea of this design is to bridge the outputs of the previous convolution layers through skip connections for channel weights generation. Based on our experiment and theory analysis, we find that features from previous layers also contribute to the weights significantly. The Comprehensive evaluation demonstrates that the proposed approach achieves state-of-the-art(SOTA) performance compared with the existing methods in accuracy and speed. which shows that Bridge Attention provides a new perspective on the design of neural network architectures with great potential in improving performance. The code is available at https://github.com/zhaoy376/Bridge-Attention.

研究动机与目标

• 解决现有通道注意力机制仅依赖前一卷积层的局限性，避免信息利用不充分的问题。
• 探究在残差块内整合更早层特征是否能改善注意力权重估计与模型性能。
• 设计一种简单、高效且可泛化的注意力模块，增强现有CNN架构，同时不增加模型复杂度或推理成本。
• 通过实验评估不同类型和距离的前序特征在注意力机制中的有效性。
• 提供一种稳定且易于部署的注意力模块，在多个视觉任务中超越当前最先进方法。

提出的方法

• 提出桥接注意力模块（BAM），在全局平均池化和全连接层之前，将残差块内所有三个卷积层的特征图进行拼接。
• 在全连接层后使用批量归一化（BN），以稳定训练并改善梯度流动。
• 采用仅使用全连接层和批量归一化层的简洁轻量化设计，避免使用1D卷积或通道混洗等复杂操作。
• 在每个残差块的第三卷积层之后应用BAM模块，替代SENet等模型中的标准注意力层。
• 采用残差学习框架，将BAM模块以最小的架构改动方式集成到ResNet-50等现有架构中。
• 使用随机森林模型分析特征重要性，量化每个中间特征对最终注意力权重的贡献。

实验结果

研究问题

• RQ1 与仅使用最后一层相比，在残差块内整合多个前序卷积层的特征是否能提升通道注意力性能？
• RQ2 最优的桥接特征配置是什么？具体而言，哪些类型和距离的前序特征能带来最佳性能？
• RQ3 在每个块内桥接所有卷积输出，是否能产生比标准注意力机制更具多样性与信息量的注意力权重？
• RQ4 早期卷积层特征与直接前驱层相比，在决定注意力权重时的贡献如何？
• RQ5 基于全连接和批量归一化的简单轻量化注意力模块，能否在计算成本极低的情况下实现最先进性能？

主要发现

• 使用全连接和批量归一化桥接每个残差块内所有卷积输出，可获得最佳性能，显著优于仅使用最后一层卷积特征的方法。
• BA-Net在使用ResNet-50时，ImageNet上的top-1准确率比SENet高出0.71%，且模型复杂度和推理速度相当。
• BA-Net的注意力权重分布显示在深层阶段具有更高的方差，表明其在不同类别间对重要特征的区分能力更强。
• 可视化结果表明，BA-Net的注意力权重在不同类别间更具可区分性，尤其在深层阶段，表明其特征表示能力更优。
• 随机森林分析显示，早期层特征（如第二或第一卷积层）对注意力权重的贡献显著，有时甚至超过直接前驱层。
• 该方法具有稳定性与泛化性，在图像分类、目标检测和实例分割等任务中均表现出一致的性能提升。