[论文解读] Multi-grained Attention Networks for Single Image Super-Resolution

Huapeng Wu, Zhengxia Zou+6 more|arXiv (Cornell University)|Sep 26, 2019

Advanced Image Processing Techniques参考文献 47被引用 7

一句话总结

本文提出多粒度注意力网络（MGAN），一种新颖的超分辨率框架，通过在通道和空间区域上整合多尺度特征提取与自适应注意力机制，实现了最先进的性能，同时保持了紧凑的模型规模。通过以多粒度方式建模神经元重要性，并利用多尺度密集连接，MGAN 在保持较小模型尺寸的同时，显著提升了 PSNR 和 SSIM 指标。

ABSTRACT

Deep Convolutional Neural Networks (CNN) have drawn great attention in image super-resolution (SR). Recently, visual attention mechanism, which exploits both of the feature importance and contextual cues, has been introduced to image SR and proves to be effective to improve CNN-based SR performance. In this paper, we make a thorough investigation on the attention mechanisms in a SR model and shed light on how simple and effective improvements on these ideas improve the state-of-the-arts. We further propose a unified approach called "multi-grained attention networks (MGAN)" which fully exploits the advantages of multi-scale and attention mechanisms in SR tasks. In our method, the importance of each neuron is computed according to its surrounding regions in a multi-grained fashion and then is used to adaptively re-scale the feature responses. More importantly, the "channel attention" and "spatial attention" strategies in previous methods can be essentially considered as two special cases of our method. We also introduce multi-scale dense connections to extract the image features at multiple scales and capture the features of different layers through dense skip connections. Ablation studies on benchmark datasets demonstrate the effectiveness of our method. In comparison with other state-of-the-art SR methods, our method shows the superiority in terms of both accuracy and model size.

研究动机与目标

• 探究现有注意力机制在超分辨率网络中的局限性，并识别改进机会。
• 开发一种统一的注意力机制，将通道注意力与空间注意力作为特例统一处理。
• 通过结合多尺度特征提取与跨层的密集跳跃连接，增强特征表示能力。
• 在 PSNR、SSIM 和模型效率方面实现卓越的超分辨率性能。

提出的方法

• 提出一种多粒度注意力机制，基于多尺度下周围区域计算神经元重要性。
• 将通道注意力与空间注意力作为统一多粒度注意力框架的特例进行整合。
• 采用多尺度密集连接，聚合来自不同层和尺度的特征，增强特征复用与表征能力。
• 使用子像素卷积实现端到端上采样，无需预先进行双三次插值，降低计算成本。
• 应用可学习的注意力权重，根据局部与全局上下文自适应地重新缩放特征响应。
• 设计一种深层残差网络，其残差块通过多粒度注意力模块进行增强。

实验结果

研究问题

• RQ1 如何将注意力机制泛化，以更好地捕捉超分辨率中通道与空间维度的特征重要性？
• RQ2 与单独使用通道注意力或空间注意力相比，多粒度注意力在性能上提升了多少？
• RQ3 多尺度密集连接是否能增强超分辨率任务中的特征学习与模型性能？
• RQ4 所提出的 MGAN 方法是否在准确率、模型大小与推理效率之间实现了优于当前最先进方法的平衡？

主要发现

• 在 x3 缩放的 Set5 数据集上，MGAN 达到 34.65 dB 的 PSNR 和 0.9292 的 SSIM，优于所有对比的最先进方法。
• 增强版 MGAN+ 在 Set5 上实现 34.75 dB 的 PSNR 和 0.9299 的 SSIM，创下 x3 基准的新 SOTA 记录。
• 在更具挑战性的 Urban100 数据集上，MGAN 在 x3 缩放下达到 28.61 dB 的 PSNR 和 0.8621 的 SSIM，超越先前方法。
• MGAN 在所有数据集（Set5、Set14、Bsd100、Urban100、Manga109）上均表现出一致的性能提升，相较于 MSRN 和 RDN，PSNR 最高提升达 0.3 dB。
• 消融实验确认，多粒度注意力与多尺度密集连接对性能提升均至关重要。
• 与 EDSR 和 MSRN 等更深模型相比，MGAN 保持了更小的模型尺寸，表明其具有更高的效率。