[论文解读] Dual Perceptual Loss for Single Image Super-Resolution Using ESRGAN

Jie Song, Huawei Yi+4 more|arXiv (Cornell University)|Jan 17, 2022

Advanced Image Processing Techniques被引用 6

一句话总结

本文提出了一种用于单图像超分辨率的新型损失函数——双重感知损失（DP Loss），通过结合VGG与ResNet网络的特征，提升感知质量和结构保真度。通过动态加权两种感知损失，该方法减少了训练偏差，并增强了纹理细节恢复能力，在Set5、Set14、BSD100和Urban100等基准数据集上实现了最先进性能。

ABSTRACT

The proposal of perceptual loss solves the problem that per-pixel difference loss function causes the reconstructed image to be overly-smooth, which acquires a significant progress in the field of single image super-resolution reconstruction. Furthermore, the generative adversarial networks (GAN) is applied to the super-resolution field, which effectively improves the visual quality of the reconstructed image. However, under the condtion of high upscaling factors, the excessive abnormal reasoning of the network produces some distorted structures, so that there is a certain deviation between the reconstructed image and the ground-truth image. In order to fundamentally improve the quality of reconstructed images, this paper proposes a effective method called Dual Perceptual Loss (DP Loss), which is used to replace the original perceptual loss to solve the problem of single image super-resolution reconstruction. Due to the complementary property between the VGG features and the ResNet features, the proposed DP Loss considers the advantages of learning two features simultaneously, which significantly improves the reconstruction effect of images. The qualitative and quantitative analysis on benchmark datasets demonstrates the superiority of our proposed method over state-of-the-art super-resolution methods.

研究动机与目标

• 解决在高放大倍数下超分辨率重建中的结构失真问题。
• 通过利用VGG与ResNet网络的互补特征，提升感知质量。
• 通过动态加权机制，缓解不同幅度感知损失之间的不平衡问题。
• 增强网络对纹理细节的推理能力，并保留逼真的图像结构。

提出的方法

• 通过结合基于VGG和基于ResNet的感知特征，提出双重感知损失（DP Loss）。
• 使用预训练的VGG与ResNet网络提取多层级特征，用于感知损失计算。
• 在训练过程中引入动态加权机制，以平衡VGG与ResNet损失之间的幅度差异。
• 将DP Loss集成到ESRGAN框架中，作为原始感知损失的替代方案。
• 使用包含对抗损失、感知损失及所提出的DP Loss的联合损失函数进行网络优化。
• 采用在训练过程中自适应调整的损失加权策略，以防止某一损失分量占据主导地位。

实验结果

研究问题

• RQ1 在感知损失中结合VGG与ResNet特征，是否能有效提升超分辨率质量？
• RQ2 动态损失加权是否能有效平衡不同感知损失分量之间的幅度差异？
• RQ3 与标准感知损失相比，所提出的DP Loss在结构保真度和视觉质量方面表现如何？
• RQ4 双特征方法在多大程度上减少了伪影并提升了纹理细节恢复能力？

主要发现

• 在Set5数据集上，所提出的ESRGAN-DP方法实现了27.11的PSNR和0.0990的LPIPS，优于ESRGAN与SFTGAN。
• 在Set14数据集上，该方法实现了26.00的PSNR和0.1139的LPIPS，显示出对基线ESRGAN的一致性改进。
• 在BSD100数据集上，该方法实现了25.40的PSNR和0.1280的LPIPS，表明其在多样化图像类型上的鲁棒性。
• 在Urban100数据集上，该方法实现了24.79的PSNR和0.1186的LPIPS，显示出在复杂真实场景图像上的强大性能。
• 消融实验表明，ResNet损失与动态加权机制均显著提升了SSIM与LPIPS指标。
• 视觉对比显示，与基线ESRGAN相比，DP Loss能有效减少不真实伪影，并增强纹理清晰度。