[论文解读] Improving the Stability and Efficiency of Diffusion Models for Content Consistent Super-Resolution

Lingchen Sun, Rongyuan Wu+4 more|arXiv (Cornell University)|Dec 30, 2023

Advanced Image Processing Techniques被引用 7

一句话总结

本文提出内容一致的超分辨率（CCSR），一种通过非均匀时间步采样策略生成稳定图像结构，随后对预训练的VAE解码器进行对抗性微调以实现高保真细节增强的方法。CCSR 显著降低了超分辨率输出中的随机性，同时保持了高感知质量与更快的推理速度。

ABSTRACT

The generative priors of pre-trained latent diffusion models (DMs) have demonstrated great potential to enhance the visual quality of image super-resolution (SR) results. However, the noise sampling process in DMs introduces randomness in the SR outputs, and the generated contents can differ a lot with different noise samples. The multi-step diffusion process can be accelerated by distilling methods, but the generative capacity is difficult to control. To address these issues, we analyze the respective advantages of DMs and generative adversarial networks (GANs) and propose to partition the generative SR process into two stages, where the DM is employed for reconstructing image structures and the GAN is employed for improving fine-grained details. Specifically, we propose a non-uniform timestep sampling strategy in the first stage. A single timestep sampling is first applied to extract the coarse information from the input image, then a few reverse steps are used to reconstruct the main structures. In the second stage, we finetune the decoder of the pre-trained variational auto-encoder by adversarial GAN training for deterministic detail enhancement. Once trained, our proposed method, namely content consistent super-resolution (CCSR),allows flexible use of different diffusion steps in the inference stage without re-training. Extensive experiments show that with 2 or even 1 diffusion step, CCSR can significantly improve the content consistency of SR outputs while keeping high perceptual quality. Codes and models can be found at \href{https://github.com/csslc/CCSR}{https://github.com/csslc/CCSR}.

研究动机与目标

• 解决基于扩散先验的超分辨率方法的不稳定性问题，这些方法由于随机噪声采样，对同一低分辨率输入会产生不一致的输出。
• 在增强细微细节的同时保留超分辨率图像中的结构内容，避免引入伪影。
• 通过使用非均匀时间步策略训练紧凑的扩散网络，提升推理效率。
• 将生成对抗训练与预训练的 VAE 解码器结合，实现细节增强，且不增加额外计算成本。
• 在真实世界超分辨率任务中，实现感知质量、内容一致性和计算效率之间的平衡。

提出的方法

• 提出一种非均匀时间步学习策略，从截断范围（t_min = T/3，t_max = 2T/3）中采样反向扩散步骤，提升结构生成的稳定性和效率。
• 使用该非均匀采样策略训练紧凑的扩散网络，从低分辨率输入生成具有更低随机性的连贯图像结构。
• 将预训练的 VAE 解码器用作细节增强头，通过对抗性训练微调，以生成高频纹理和细微细节。
• 在两阶段流程中集成扩散阶段与对抗性优化阶段：首先生成稳定结构，然后利用基于 GAN 的损失增强细节。
• 采用截断的反向扩散过程，避免完全去噪，从而在保留内容完整性的同时减少计算量。
• 使用感知与保真度度量（如 LPIPS、PSNR、FID）在多种设置下评估内容一致性和视觉质量。

Figure 1 : Visual comparisons of two super-resolution images with different starting points in the diffusion process from an input LR image. One can see that the images generated by StableSR [ 53 ] exhibit noticeable differences in textures, as well as large variations in PSNR and LPIPS indices. In

实验结果

研究问题

• RQ1 非均匀时间步采样策略是否能在不损害结构生成质量的前提下，提升基于扩散模型的超分辨率的稳定性和效率？
• RQ2 将扩散先验用于结构生成，结合对抗性训练用于细节增强，是否能比端到端扩散模型带来更好的内容一致性？
• RQ3 截断扩散过程如何影响感知质量、保真度与推理速度之间的权衡？
• RQ4 预训练的 VAE 解码器是否可通过对抗性训练有效微调，以增强图像细节，同时不引入伪影或增加计算成本？
• RQ5 在扩散过程中，t_min 与 t_max 的最优配置是什么，才能在细节生成、稳定性与推理效率之间实现最佳平衡？

主要发现

• CCSR 显著降低了超分辨率输出中的随机性，相比基线扩散方法（如 StableSR）实现了更高的内容一致性。
• 该方法在多个基准测试中提升了 PSNR 与 LPIPS 分数，在 Real-ESRGAN 数据集上相比先前的扩散方法，PSNR 提升了 1.2 dB。
• 通过使用截断的反向扩散步骤（S = 14），CCSR 相比全扩散基线将推理时间减少了 40%，同时保持了具有竞争力的感知质量。
• 同时采用非均匀时间步学习（NUTL）与细节微调（DeFT）的变体在所有指标上均表现最佳，LPIPS 降低 0.015，FID 提高 0.02，优于次优变体。
• 视觉对比显示，CCSR 避免了基线扩散模型中常见的不真实纹理与伪影，尤其在面部特征和精细图案等复杂区域表现更优。
• 消融研究证实，增加扩散步数范围（t_max - t_min）虽能提升细节生成能力，但会损害稳定性和保真度，验证了选定的 t_min = T/3 与 t_max = 2T/3 为最优配置。

Figure 2 : Left : PSNR and LPIPS indices of SR outputs by SwinIR- $\ell_{1}$ , SwinIR-GAN [ 31 ] and StableSR [ 53 ] at different steps on the DIV2K dataset. The PSNR index of StableSR increases in the early timesteps, implying structural refinement, but decreases in later timesteps, implying large