[论文解读] ACDMSR: Accelerated Conditional Diffusion Models for Single Image Super-Resolution

Axi Niu, Pham Xuan Trung+5 more|arXiv (Cornell University)|Jul 3, 2023

Advanced Image Processing TechniquesComputer Science被引用 3

一句话总结

ACDMSR 提出了一种快速的、条件扩散模型，用于单图像超分辨率，通过使用预训练超分辨率模型的输出作为条件图像，实现了高质量、逼真的结果。该方法在 Set5、Urban100 和 BSD100 等基准数据集上，在定量指标和感知质量方面均达到最先进水平，显著优于以往的扩散模型和基于 CNN 的方法，在视觉保真度方面表现优异，同时保持了具有竞争力的 PSNR 和 SSIM 分数。

ABSTRACT

Diffusion models have gained significant popularity in the field of image-to-image translation. Previous efforts applying diffusion models to image super-resolution (SR) have demonstrated that iteratively refining pure Gaussian noise using a U-Net architecture trained on denoising at various noise levels can yield satisfactory high-resolution images from low-resolution inputs. However, this iterative refinement process comes with the drawback of low inference speed, which strongly limits its applications. To speed up inference and further enhance the performance, our research revisits diffusion models in image super-resolution and proposes a straightforward yet significant diffusion model-based super-resolution method called ACDMSR (accelerated conditional diffusion model for image super-resolution). Specifically, our method adapts the standard diffusion model to perform super-resolution through a deterministic iterative denoising process. Our study also highlights the effectiveness of using a pre-trained SR model to provide the conditional image of the given low-resolution (LR) image to achieve superior high-resolution results. We demonstrate that our method surpasses previous attempts in qualitative and quantitative results through extensive experiments conducted on benchmark datasets such as Set5, Set14, Urban100, BSD100, and Manga109. Moreover, our approach generates more visually realistic counterparts for low-resolution images, emphasizing its effectiveness in practical scenarios.

研究动机与目标

• 为解决扩散模型在单图像超分辨率（SISR）中推理速度慢的问题，该问题限制了其实际部署。
• 通过超越传统以 PSNR 优化为导向的方法，利用条件扩散建模提升 SISR 中的感知质量。
• 探究预训练模型生成的预超分辨率特征是否可作为扩散模型 SISR 的有效条件输入。
• 开发一种简单但高效的后处理框架，以增强图像真实感，而无需从头开始重新训练扩散模型。

提出的方法

• 该方法使用预训练的超分辨率模型（如 RRDB、EDSR、RCAN、SwinIR）从输入的低分辨率（LR）图像生成条件图像。
• 该条件图像随后被用作扩散模型中的引导信号，该模型通过确定性的迭代去噪过程来优化高分辨率输出。
• 扩散模型被训练以预测反向去噪过程中的噪声，但最终输出通过图像预测损失生成，从而提升感知质量。
• 该框架被用作现有 SR 模型的后处理步骤，实现快速推理，且架构改动极小。
• 该方法支持多种缩放因子，并在多个基准数据集（包括 Set5、Set14、Urban100、BSD100 和 Manga109）上进行了评估。

Figure 1 : Illustration of our method. The model contains a stochastic forward diffusion process, gradually adding noise to an $\bm{I}^{HR}$ image. And a deterministic denoise process is applied to recover high-resolution and realistic images $\bm{I}^{SR}$ corresponding to $\bm{I}^{LR}$ images.

实验结果

研究问题

• RQ1 使用预超分辨率图像作为条件输入是否能提升基于扩散模型的超分辨率质量？
• RQ2 条件图像的选择（如 LR、EDSR、RCAN、SwinIR 或 RRDB 输出）如何影响最终的 SR 结果？
• RQ3 训练扩散模型预测图像而非噪声是否能带来更好的感知质量？
• RQ4 一个简单的后处理扩散框架是否能在不重新训练主 SR 模型的前提下实现最先进性能？

主要发现

• 在 4× 缩放的 Urban100 数据集上，ACDMSR 使用 SwinIR 作为条件模型时，PSNR 达到 25.947，SSIM 达到 0.6743，两项指标均优于所有基线方法。
• 当使用 RCAN 作为条件模型时，LPIPS 分数降低至 0.0834，表明其感知质量优于其他方法。
• 图像预测损失变体在 PSNR 和 LPIPS 两项指标上均优于噪声预测损失，证实其在学习超分辨率图像分布方面具有优势。
• 在多样化内容（如文字、动物、人物）上的视觉结果表明，ACDMSR 生成的纹理更清晰，细节更逼真，优于基线方法。
• ACDMSR 在 Set5、Set14、BSD100 和 Manga109 上均达到最先进性能，尽管 PSNR 略低于某些基于 CNN 的模型，但感知质量始终有显著提升。

(a) PNSR