[论文解读] BAM: A Balanced Attention Mechanism for Single Image Super Resolution

Fanyi Wang, Haotian Hu+1 more|arXiv (Cornell University)|Apr 15, 2021

Advanced Image Processing Techniques参考文献 34被引用 6

一句话总结

本文提出BAM，一种用于单图像超分辨率（SISR）的平衡注意力机制，通过并行结合平均池化通道注意力模块（ACAM）和最大池化空间注意力模块（MSAM），在同时抑制大规模特征图中的噪声和保留高频纹理细节方面表现出色。BAM在10种SOTA网络上均提升了性能，减少了参数量，加速了推理过程，并在所提出的realSR7数据集中纹理丰富的混叠区域实现了更优结果。

ABSTRACT

Recovering texture information from the aliasing regions has always been a major challenge for Single Image Super Resolution (SISR) task. These regions are often submerged in noise so that we have to restore texture details while suppressing noise. To address this issue, we propose a Balanced Attention Mechanism (BAM), which consists of Avgpool Channel Attention Module (ACAM) and Maxpool Spatial Attention Module (MSAM) in parallel. ACAM is designed to suppress extreme noise in the large scale feature maps while MSAM preserves high-frequency texture details. Thanks to the parallel structure, these two modules not only conduct self-optimization, but also mutual optimization to obtain the balance of noise reduction and high-frequency texture restoration during the back propagation process, and the parallel structure makes the inference faster. To verify the effectiveness and robustness of BAM, we applied it to 10 SOTA SISR networks. The results demonstrate that BAM can efficiently improve the networks performance, and for those originally with attention mechanism, the substitution with BAM further reduces the amount of parameters and increases the inference speed. Moreover, we present a dataset with rich texture aliasing regions in real scenes, named realSR7. Experiments prove that BAM achieves better super-resolution results on the aliasing area.

研究动机与目标

• 解决单图像超分辨率（SISR）中被噪声淹没的混叠区域的纹理细节恢复挑战。
• 开发一种在特征学习过程中平衡噪声抑制与高频纹理保留的机制。
• 设计一种轻量化、并行的注意力模块，以提升推理速度并减少模型参数。
• 在10种最先进的SISR网络上验证该机制，以证明其泛化能力与鲁棒性。
• 构建一个新的真实世界数据集realSR7，其中包含丰富的纹理混叠区域，以更有效地评估在复杂场景下的性能表现。

提出的方法

• 提出一种并行架构，结合平均池化通道注意力模块（ACAM）和最大池化空间注意力模块（MSAM），以实现联合优化。
• 使用ACAM通过全局平均池化和可学习注意力权重，抑制大规模特征图中的极端噪声。
• 采用MSAM利用最大池化和空间注意力机制，突出显著区域，以保留高频纹理细节。
• 通过并行结构在反向传播过程中实现ACAM与MSAM之间的相互优化与自优化，从而在噪声抑制与纹理恢复之间实现平衡。
• 将BAM作为即插即用模块集成到现有SISR网络中，无需修改网络架构，确保兼容性与高效性。
• 使用标准反向传播方法，端到端地训练和微调注意力模块与主干网络。

实验结果

研究问题

• RQ1 双分支注意力机制是否能有效平衡SISR中的噪声抑制与高频纹理恢复？
• RQ2 与串行或堆叠注意力结构相比，并行设计的ACAM与MSAM在训练过程中是否能改善优化动态？
• RQ3 BAM在具有复杂混叠与纹理退化的实际图像上，性能提升程度如何？
• RQ4 BAM是否在提升性能的同时，减少了模型参数量与推理时间，且适用于现有的SOTA SISR网络？
• RQ5 BAM在新整理的、富含纹理混叠区域的数据集（如realSR7）上的表现如何？

主要发现

• BAM显著提升了10种最先进的SISR网络的性能，在基准数据集上实现了更高的PSNR与SSIM值。
• 对于原本使用注意力机制的网络，用BAM替换后，模型参数量减少，推理速度提升。
• 在realSR7数据集中，BAM在恢复混叠区域内的纹理细节方面，相比基线方法表现更优。
• BAM的并行结构实现了ACAM与MSAM之间的有效相互优化，增强了反向传播过程中的特征表示能力。
• 实验结果证实，BAM在多种SISR架构及真实世界图像条件下均表现出强鲁棒性与良好的泛化能力。