[论文解读] A-ESRGAN: Training Real-World Blind Super-Resolution with Attention U-Net Discriminators

Zihao Wei, Yidong Huang+3 more|arXiv (Cornell University)|Dec 19, 2021

Advanced Image Processing Techniques被引用 9

一句话总结

该论文提出A-ESRGAN，一种基于GAN的盲图像超分辨率模型，引入多尺度注意力U-Net判别器以提升感知质量和结构保真度。通过在判别器中整合注意力机制与多尺度特征学习，该模型在NIQE指标上达到最先进性能，相较于先前基于GAN的方法，生成的高分辨率图像更清晰、更逼真，边缘保持更好，纹理重建更优。

ABSTRACT

Blind image super-resolution(SR) is a long-standing task in CV that aims to restore low-resolution images suffering from unknown and complex distortions. Recent work has largely focused on adopting more complicated degradation models to emulate real-world degradations. The resulting models have made breakthroughs in perceptual loss and yield perceptually convincing results. However, the limitation brought by current generative adversarial network structures is still significant: treating pixels equally leads to the ignorance of the image's structural features, and results in performance drawbacks such as twisted lines and background over-sharpening or blurring. In this paper, we present A-ESRGAN, a GAN model for blind SR tasks featuring an attention U-Net based, multi-scale discriminator that can be seamlessly integrated with other generators. To our knowledge, this is the first work to introduce attention U-Net structure as the discriminator of GAN to solve blind SR problems. And the paper also gives an interpretation for the mechanism behind multi-scale attention U-Net that brings performance breakthrough to the model. Through comparison experiments with prior works, our model presents state-of-the-art level performance on the non-reference natural image quality evaluator metric. And our ablation studies have shown that with our discriminator, the RRDB based generator can leverage the structural features of an image in multiple scales, and consequently yields more perceptually realistic high-resolution images compared to prior works.

研究动机与目标

• 解决现有基于GAN的盲超分辨率模型因判别器中对像素均匀处理而导致结果过度平滑或失真的局限性。
• 通过在判别器架构中引入注意力机制，提升超分辨率图像的感知真实感与结构保真度。
• 探究多尺度特征学习在增强判别器识别真实纹理与边缘能力方面的作用。
• 提供一种模块化、即插即用的判别器设计，可与现有生成器（如RRDB）集成以提升性能。

提出的方法

• 提出一种新型多尺度注意力U-Net判别器，结合U-Net跳跃连接与自注意力机制，以增强特征表示能力。
• 采用两个相同的注意力U-Net判别器，分别在不同图像尺度上运行：一个作用于原始分辨率，另一个作用于下采样后的版本，以捕捉粗粒度与细粒度特征。
• 将注意力U-Net判别器与基于RRDB的生成器结合，构成A-ESRGAN模型，支持端到端训练及对抗性损失。
• 训练过程中使用感知损失与对抗性损失，引导生成器生成在感知真实感与结构准确性方面均更优的高分辨率图像。
• 应用注意力图可视化判别器在训练过程中如何动态聚焦于边缘与高频细节。
• 开展消融实验，以分离分析注意力机制与多尺度设计在判别器中的贡献。

实验结果

研究问题

• RQ1 与标准GAN判别器相比，将注意力U-Net架构集成到判别器中，如何提升盲超分辨率性能？
• RQ2 多尺度特征学习在增强判别器识别真实纹理与边缘能力方面发挥何种作用？
• RQ3 注意力权重在训练过程中如何演变？这揭示了判别器对结构特征与背景特征的关注有何变化？
• RQ4 与最先进基线相比，所提出的判别器在感知质量方面（以NIQE衡量）提升了多少？

主要发现

• A-ESRGAN模型在所有测试数据集上的NIQE指标上均达到最先进性能，优于Real-ESRGAN及其他SOTA模型。
• 注意力U-Net判别器显著改善了边缘保持并减少了失真，视觉对比结果表明线条更清晰，模糊程度降低。
• 多尺度判别器设计在复杂区域（如树枝与织物图案）的纹理重建方面优于单尺度对应模型。
• 消融实验证实，注意力U-Net判别器可减少过度平滑现象，并增强高频细节恢复能力，尤其在细微结构中表现更优。
• 注意力图可视化显示，模型在训练过程中逐步从均匀像素加权转向对边缘与细节的集中关注。
• 判别器的双尺度运行机制使模型能够同时优化全局一致性与局部纹理保真度，从而生成更逼真的图像。