[论文解读] MAANet: Multi-view Aware Attention Networks for Image Super-Resolution

Jingcai Guo, Shiheng Ma+1 more|arXiv (Cornell University)|Apr 12, 2019

Advanced Image Processing Techniques参考文献 32被引用 5

一句话总结

本文提出MAANet，一种用于图像超分的多视角感知注意力网络，通过在低分辨率特征上应用局部和全局注意力机制，提升高频细节的恢复能力。通过将局部感知（LA）和全局感知（GA）注意力与新颖的局部感知残差-密集（LARD）模块结合，MAANet在基准数据集上实现了最先进性能，尤其在4×超分任务中，PSNR和SSIM指标均有显著提升。

ABSTRACT

In most recent years, deep convolutional neural networks (DCNNs) based image super-resolution (SR) has gained increasing attention in multimedia and computer vision communities, focusing on restoring the high-resolution (HR) image from a low-resolution (LR) image. However, one nonnegligible flaw of DCNNs based methods is that most of them are not able to restore high-resolution images containing sufficient high-frequency information from low-resolution images with low-frequency information redundancy. Worse still, as the depth of DCNNs increases, the training easily encounters the problem of vanishing gradients, which makes the training more difficult. These problems hinder the effectiveness of DCNNs in image SR task. To solve these problems, we propose the Multi-view Aware Attention Networks (MAANet) for image SR task. Specifically, we propose the local aware (LA) and global aware (GA) attention to deal with LR features in unequal manners, which can highlight the high-frequency components and discriminate each feature from LR images in the local and the global views, respectively. Furthermore, we propose the local attentive residual-dense (LARD) block, which combines the LA attention with multiple residual and dense connections, to fit a deeper yet easy to train architecture. The experimental results show that our proposed approach can achieve remarkable performance compared with other state-of-the-art methods.

研究动机与目标

• 解决深度卷积神经网络（DCNNs）在低频冗余的低分辨率（LR）图像中恢复高频分量的局限性。
• 通过设计可训练的深层网络架构，克服深层网络中的梯度消失问题，以实现图像超分。
• 提升局部和全局上下文中的特征判别能力，以增强高分辨率图像的重建质量。
• 开发一种轻量化但高效的注意力机制，使其能针对低分辨率输入中的局部与全局特征表示进行差异化适应。

提出的方法

• 提出局部感知（LA）注意力，通过学习空间自适应权重，在单个特征图内突出高频分量。
• 引入全局感知（GA）注意力，通过在通道维度重加权整个特征图，强调全局上下文中的信息性特征。
• 设计局部感知残差-密集（LARD）模块，将LA注意力与多条残差及密集跳跃连接结合，以稳定训练并支持更深网络结构。
• 在堆叠式架构中应用LARD模块，逐步提取并优化来自低分辨率输入的特征。
• 使用可学习的上采样模块生成高分辨率特征图，随后通过重建头输出最终的高分辨率结果。
• 在YCbCr变换图像的Y通道上使用L1损失进行网络训练，以优化感知质量和定量指标的保真度。

实验结果

研究问题

• RQ1 局部与全局注意力机制是否能有效提升图像超分过程中低分辨率图像的高频细节恢复能力？
• RQ2 注意力机制与残差及密集连接的结合，对深层超分网络的训练稳定性和性能有何影响？
• RQ3 所提出的MAANet架构是否在定量指标（PSNR/SSIM）和定性视觉质量方面均优于现有最先进方法？
• RQ4 当超分倍数从2×提升至4×时，模型在多视角注意力机制下的性能增益程度如何？
• RQ5 LARD模块是否能实现更深网络架构，同时避免梯度消失或训练不稳定性问题？

主要发现

• MAANet在所有五个基准数据集（Set5、Set14、Urban100、Manga109和DIV2K）上，对2×和4×超分任务均实现了最先进性能。
• 在4×超分任务中，MAANet在Set5上达到32.87 dB的PSNR，在Urban100上达到29.35 dB，优于先前的SOTA方法如RDN和DBPN。
• 模型在SSIM指标上表现出显著提升，尤其在复杂纹理和精细结构（如Manga109中的条纹和线条）上。
• 视觉对比显示，MAANet能生成更锐利的边缘和更完整保留的细节，尤其在小图案和平行线条等挑战性区域表现更优。
• 消融实验表明，LA与GA注意力均独立贡献性能提升，且LARD模块有效支持更深、更稳定的训练。
• 模型在自然场景、人脸和线稿等多种图像类型中均保持优异性能，表明其具备强大的泛化能力。