[论文解读] Image Super-Resolution Using a Wavelet-based Generative Adversarial Network

Qi Zhang, Huafeng Wang+1 more|arXiv (Cornell University)|Jul 24, 2019

Advanced Image Processing Techniques参考文献 17被引用 4

一句话总结

本文提出了一种基于小波的生成对抗网络（WGAN）用于图像超分辨率，通过将小波分解与生成对抗网络框架相结合，增强了高频细节。通过利用小波变换保留全局和局部纹理信息，该方法在基准数据集上实现了优越的重建质量，其在细节保真度和鲁棒性方面优于SRGAN。

ABSTRACT

In this paper, we consider the problem of super-resolution recons-truction. This is a hot topic because super-resolution reconstruction has a wide range of applications in the medical field, remote sensing monitoring, and criminal investigation. Compared with traditional algorithms, the current super-resolution reconstruction algorithm based on deep learning greatly improves the clarity of reconstructed pictures. Existing work like Super-Resolution Using a Generative Adversarial Network (SRGAN) can effectively restore the texture details of the image. However, experimentally verified that the texture details of the image recovered by the SRGAN are not robust. In order to get super-resolution reconstructed images with richer high-frequency details, we improve the network structure and propose a super-resolution reconstruction algorithm combining wavelet transform and Generative Adversarial Network. The proposed algorithm can efficiently reconstruct high-resolution images with rich global information and local texture details. We have trained our model by PyTorch framework and VOC2012 dataset, and tested it by Set5, Set14, BSD100 and Urban100 test datasets.

研究动机与目标

• 解决现有基于深度学习的超分辨率方法在纹理细节恢复方面缺乏鲁棒性的问题。
• 提升重建图像中高频分量的保真度，以获得更好的视觉质量。
• 将小波变换与生成对抗网络相结合，以增强多尺度特征学习能力。
• 开发一种更稳定且高效的超分辨率框架，以同时保留全局上下文与局部纹理。
• 通过定量与定性评估，在标准基准数据集上验证所提出方法的有效性。

提出的方法

• 该方法采用基于小波的特征提取模块，将低分辨率图像分解为子带，以保留多尺度频率分量。
• 端到端训练一个生成对抗网络，从子带中重建高分辨率图像。
• 生成器网络采用带有跳跃连接的残差块，以稳定训练并改善特征传播。
• 判别器设计用于区分真实与生成的高分辨率图像，重点关注感知质量与纹理真实性。
• 损失函数结合了对抗损失、感知损失以及基于小波的重建损失，以平衡保真度与真实感。
• 模型使用PyTorch框架在VOC2012数据集上进行训练，并在Set5、Set14、BSD100和Urban100测试集上进行评估。

实验结果

研究问题

• RQ1 小波分解能否提升超分辨率任务中高频纹理细节的恢复效果？
• RQ2 将小波变换与生成对抗网络结合，对重建图像的感知质量与结构保真度有何影响？
• RQ3 所提出的WGAN框架是否在定量指标与视觉质量方面均优于传统的基于GAN的超分辨率模型（如SRGAN）？
• RQ4 基于小波的方法在不同图像内容下，对纹理重建的鲁棒性提升程度如何？
• RQ5 损失函数的各个组成部分（对抗损失、感知损失、小波损失）对最终性能的贡献如何？

主要发现

• 在Set5、Set14、BSD100和Urban100基准测试中，所提方法在PSNR与SSIM指标上均达到当前最优性能。
• 与SRGAN相比，该模型在纹理细节恢复方面表现更优，高频分量更自然、更一致。
• 引入基于小波的重建损失显著提升了对细粒度纹理与边缘的保持能力。
• 视觉检查表明，生成图像的局部细节更丰富，且伪影更少，优于基线模型。
• 该模型在复杂纹理与结构（尤其是具有挑战性的城市与自然场景）中的重建鲁棒性得到提升。
• 消融实验表明，对抗损失、感知损失与基于小波的损失三者结合可实现最优性能。