[论文解读] Details or Artifacts: A Locally Discriminative Learning Approach to Realistic Image Super-Resolution

Jie Liang, Hui Zeng+1 more|arXiv (Cornell University)|Mar 17, 2022

Advanced Image Processing Techniques被引用 8

一句话总结

本文提出局部判别性学习（LDL），通过利用局部残差方差统计量，区分生成对抗网络（GAN）超分辨率中的视觉伪影与真实细节。通过生成逐像素的伪影图并用其正则化对抗训练，LDL 显著减少了伪影，同时保持了感知细节质量，在合成数据集和真实世界基准上均优于当前最先进（SOTA）的 GAN-SR 方法。

ABSTRACT

Single image super-resolution (SISR) with generative adversarial networks (GAN) has recently attracted increasing attention due to its potentials to generate rich details. However, the training of GAN is unstable, and it often introduces many perceptually unpleasant artifacts along with the generated details. In this paper, we demonstrate that it is possible to train a GAN-based SISR model which can stably generate perceptually realistic details while inhibiting visual artifacts. Based on the observation that the local statistics (e.g., residual variance) of artifact areas are often different from the areas of perceptually friendly details, we develop a framework to discriminate between GAN-generated artifacts and realistic details, and consequently generate an artifact map to regularize and stabilize the model training process. Our proposed locally discriminative learning (LDL) method is simple yet effective, which can be easily plugged in off-the-shelf SISR methods and boost their performance. Experiments demonstrate that LDL outperforms the state-of-the-art GAN based SISR methods, achieving not only higher reconstruction accuracy but also superior perceptual quality on both synthetic and real-world datasets. Codes and models are available at https://github.com/csjliang/LDL.

研究动机与目标

• 解决基于 GAN 的单图像超分辨率（SISR）模型中的训练不稳定性和伪影生成问题。
• 在 SISR 结果中区分感知上令人不适的伪影与真实的高频细节。
• 开发一种训练正则化方法，抑制伪影而不损害真实细节的生成。
• 构建一种可插拔的解决方案，兼容现有 SISR 框架，以提升重建保真度。
• 在合成与真实世界 SISR 数据集上验证方法的有效性。

提出的方法

• 该方法利用超分辨率输出与真实高分辨率图像之间的局部残差方差，构建逐像素的伪影图。
• 通过使用 EMA（指数移动平均）网络的模型集成策略，对伪影图进行优化，以提升稳定性和准确性。
• 引入一种局部判别损失（$\mathcal{L}_{\text{artif}}$），在对抗训练过程中惩罚高概率伪影区域。
• 在像素和图像块两个层级计算伪影图，并通过全局缩放（$\sigma \cdot \mathbf{M}$）平衡敏感性与鲁棒性。
• 将框架无缝集成到现有 GAN-SR 模型（如 ESRGAN、SwinIR、RealESRGAN）中，无需修改网络结构。
• 在推理阶段使用基于 EMA 的模型（$\Psi_{\text{ema}}$）以稳定伪影图预测。

实验结果

研究问题

• RQ1 残差中的局部统计差异是否能有效区分 GAN 基础 SISR 结果中的视觉伪影与真实细节？
• RQ2 学习得到的伪影图是否可用于稳定对抗训练，减少伪影，同时不损害细节保真度？
• RQ3 所提出的 LDL 方法是否在不同 SISR 架构和数据分布上均具有泛化能力？
• RQ4 LDL 是否能在未知退化条件下，同时提升真实世界 SISR 的感知质量与重建精度？
• RQ5 伪影图优化与 EMA 的结合如何提升模型稳定性和性能？

主要发现

• 当应用于 RRDB 时，LDL 在 DIV2K 验证集上取得 LPIPS 0.0999 和 PSNR 28.819，优于基线模型与消融变体。
• 在 DF2K 训练集上，LDL 通过提升 PSNR 和 LPIPS，显著改善了 SwinIR+GAN 的性能，证明了其在不同架构间的泛化能力。
• 定性结果表明，LDL 显著减少了细结构区域（如密集窗户、细树枝）中的伪影，同时增强了细节锐度。
• 在真实世界 SISR 中，RealESRGAN+LDL 比 RealESRGAN 更好地抑制了伪影，且在无真实标签的情况下，细节清晰度超过 BSRGAN。
• 消融实验表明，伪影图、缩放、优化与 EMA 各组件均对性能提升有累积贡献。
• 该方法在应用于基于 Transformer 的模型（如 SwinIR）时依然有效，表明其具备强大的架构泛化能力。