[论文解读] BAM: A Lightweight and Efficient Balanced Attention Mechanism for Single Image Super Resolution.

Fanyi Wang, Haotian Hu+1 more|arXiv (Cornell University)|Apr 15, 2021

Advanced Image Processing Techniques参考文献 24被引用 6

一句话总结

本文提出 BAM，一种轻量化且高效的单图像超分辨率（SISR）平衡注意力机制，通过并行结合平均池化通道注意力模块（ACAM）与最大池化空间注意力模块（MSAM），实现自优化与相互优化。BAM 在 12 种 SISR 网络中均提升性能，减少参数量，并加速推理，且无需修改网络架构。

ABSTRACT

Attention mechanism has shown enormous potential for single image super-resolution (SISR). However, existing works only proposed some attention mechanism for a specific network. A universal attention mechanism for SISR, which could further improve the performance of networks without attention and provide a baseline for networks with attention, is still lacking. To fit this gap, we propose a lightweight and efficient Balanced Attention Mechanism (BAM), which consists of Avgpool Channel Attention Module (ACAM) and Maxpool Spatial Attention Module (MSAM) in parallel. The information extraction mechanism of ACAM and MSAM effectively filters redundant information, making the overall structure of BAM very lightweight. Owing to the parallel structure, during the gradient backpropagation process of BAM, ACAM and MSAM not only conduct self-optimization, but also mutual optimization so as to generate more balanced attention information. To verify the effectiveness and robustness of BAM, we applied it to 12 state-ofthe-art SISR networks. The results on 4 benchmark datasets demonstrate that BAM can efficiently improve the networks' performance, and for those with attention, the substitution with BAM further reduces the amount of parameters and increase the inference speed. Moreover, ablation experiments were conducted to prove the minimalism of BAM.

研究动机与目标

• 解决现有注意力机制在配备注意力与未配备注意力的 SISR 网络中均适用的通用性不足问题。
• 开发一种注意力模块，以增强特征表示能力，同时不增加模型复杂度。
• 通过即插即用的设计，确保在多种 SISR 架构中具备兼容性与性能提升。
• 在最小化计算成本的同时，最大化超分辨率任务中的性能提升。
• 为未来配备或不配备注意力模块的 SISR 模型提供一种稳健且参数高效的基线。

提出的方法

• 提出一种并行架构，结合平均池化通道注意力模块（ACAM）与最大池化空间注意力模块（MSAM），以实现平衡的特征优化。
• 在 ACAM 中使用平均池化，以捕捉通道间依赖关系和全局上下文信息，实现通道注意力。
• 在 MSAM 中使用最大池化，以突出空间特征并强调重要的空间位置。
• 通过允许 ACAM 与 MSAM 在反向传播中相互优化注意力图，实现联合优化。
• 设计 BAM 为轻量化模块，仅引入极少额外参数，适用于集成到现有 SISR 网络中。
• 将 BAM 作为插件模块应用于 12 种最先进的 SISR 网络，以评估其泛化能力与效率。

实验结果

研究问题

• RQ1 能否设计一种通用注意力机制，使不同 SISR 网络的性能均得到提升，无论其原始注意力结构如何？
• RQ2 ACAM 与 MSAM 的并行组合是否相比串行或单分支机制，能带来更均衡且更有效的注意力学习？
• RQ3 BAM 在保持或提升性能的同时，能在多大程度上减少模型参数量与推理时间？
• RQ4 当 BAM 替换 SISR 网络中现有的注意力模块时，其性能表现如何？
• RQ5 BAM 对模型复杂度的影响最小化到何种程度？其在不同基准测试中是否保持高效性？

主要发现

• BAM 在 4 个基准数据集上，持续提升了 12 种最先进的 SISR 网络的性能，展现出强大的泛化能力。
• 在替换现有注意力模块时，BAM 减少了模型参数量并提升了推理速度，表明其效率更高。
• 消融实验验证了 BAM 的极简性，表明 ACAM 与 MSAM 的并行结构在计算开销较低的情况下实现了高性能。
• ACAM 与 MSAM 在反向传播过程中的相互优化，生成了比单一模块更均衡、更有效的注意力图。
• BAM 在不修改网络架构的前提下实现性能提升，使其成为 SISR 模型中可行的即插即用基线。
• 该机制在不同网络架构中均表现出鲁棒性，证明其在多样化 SISR 场景中的适应性与有效性。