[论文解读] Attention in Attention Network for Image Super-Resolution

Haoyu Chen, Jinjin Gu+1 more|arXiv (Cornell University)|Apr 19, 2021

Advanced Image Processing Techniques参考文献 41被引用 63

一句话总结

本文分析注意力模块如何影响单图像超分辨率（SISR），并提出注意力中的注意力网络（A2N）及其动态两分支A2B模块，能够自适应地权衡注意力路径与非注意力路径，从而在参数开销不大的情况下提升SR性能。

ABSTRACT

Convolutional neural networks have allowed remarkable advances in single image super-resolution (SISR) over the last decade. Among recent advances in SISR, attention mechanisms are crucial for high-performance SR models. However, the attention mechanism remains unclear on why and how it works in SISR. In this work, we attempt to quantify and visualize attention mechanisms in SISR and show that not all attention modules are equally beneficial. We then propose attention in attention network (A$^2$N) for more efficient and accurate SISR. Specifically, A$^2$N consists of a non-attention branch and a coupling attention branch. A dynamic attention module is proposed to generate weights for these two branches to suppress unwanted attention adjustments dynamically, where the weights change adaptively according to the input features. This allows attention modules to specialize to beneficial examples without otherwise penalties and thus greatly improve the capacity of the attention network with few parameters overhead. Experimental results demonstrate that our final model A$^2$N could achieve superior trade-off performances comparing with state-of-the-art networks of similar sizes. Codes are available at https://github.com/haoyuc/A2N.

研究动机与目标

• 量化注意力模块在整个网络阶段对SR的影响。
• 证明并非所有注意力模块都对SR有益，并找出它们在何时有益或有害于SR性能。
• 提出一种低成本的动态两分支注意力机制（A2）及其A2N网络以提升SR。
• 表明A2N在相似规模下超越最先进的轻量级SR模型。

提出的方法

• 提出一种动态注意力框架，将一个注意力块拆分为非注意力分支和注意力分支。
• 引入一个动态注意力模块，使用相同输入特征计算分支权重，并施加和为1的约束。
• 通过可学习的1x1卷积融合分支，形成下一个特征图。
• 构建A2块（A2B），并将其堆叠成含浅层特征提取和重建模块的A2N网络。
• 在标准SR基准测试上以Y通道的PSNR/SSIM进行评估。
• 与参数量相近的多种SR方法进行对照。

实验结果

研究问题

• RQ1 在SR中，图像的哪些部分最能从注意力机制中受益，以及这在网络深度上如何变化？
• RQ2 所有注意力模块在SR中是否同样有益，还是有些会阻碍性能？
• RQ3 通过按输入调整分支贡献，动态两分支注意力设计是否能高效提升SR性能？
• RQ4 在常见数据集上，提出的A2N与同等尺寸的最先进SR模型相比如何？

主要发现

• 不同层的注意力模块反应不同；早期层倾向强调低频分量，而后期层强调高频细节。
• 在所有层统一应用注意力会产生次优增益；有选择地对某些块应用注意力或采用动态加权可能更有效。
• A2结构实现低成本的两分支融合（注意力与非注意力），并具有动态、输入相关的加权，在几乎无额外参数的情况下提升容量。
• 在标准基准上，对于尺寸因子x2、x3和x4，A2N在PSNR/SSIM上与最先进的轻量级SR模型相比具竞争力或更优。
• 在Manga109数据集尺度为x3时，A2N-M在PSNR上比AWSRN-M高0.15 dB；在Urban100和Manga109等更大尺度下，A2N在PSNR上超过IMDN超过0.2 dB。
• 动态注意力模块（DAM）相较基线方法显示更高的扩散指数（DI）和更广的输入利用（LAM分析），表明对LR信息的利用更为有效。