[论文解读] Diffusion Models, Image Super-Resolution And Everything: A Survey

Brian B. Moser, Arundhati S. Shanbhag+4 more|arXiv (Cornell University)|Jan 1, 2024

Advanced Image Processing Techniques被引用 6

一句话总结

本综述综合了将扩散模型应用于图像超分辨率的基础与当前趋势，详述核心公式（DDPMs、SGMs、SDEs）、条件化以及领域特定挑战。

ABSTRACT

Diffusion Models (DMs) have disrupted the image Super-Resolution (SR) field and further closed the gap between image quality and human perceptual preferences. They are easy to train and can produce very high-quality samples that exceed the realism of those produced by previous generative methods. Despite their promising results, they also come with new challenges that need further research: high computational demands, comparability, lack of explainability, color shifts, and more. Unfortunately, entry into this field is overwhelming because of the abundance of publications. To address this, we provide a unified recount of the theoretical foundations underlying DMs applied to image SR and offer a detailed analysis that underscores the unique characteristics and methodologies within this domain, distinct from broader existing reviews in the field. This survey articulates a cohesive understanding of DM principles and explores current research avenues, including alternative input domains, conditioning techniques, guidance mechanisms, corruption spaces, and zero-shot learning approaches. By offering a detailed examination of the evolution and current trends in image SR through the lens of DMs, this survey sheds light on the existing challenges and charts potential future directions, aiming to inspire further innovation in this rapidly advancing area.

研究动机与目标

• 总结扩散模型在图像超分辨率（SR）中的理论基础。
• 分析基于DM的SR相较于以往工作在特征、方法和挑战方面的独特性。
• 勾勒当前的研究方向，包括输入域、条件化、引导、损坏空间以及 SR 中的零-shot 学习。
• 提供一份连贯的 DM 原则路线图，以及它们如何影响 SR 研究与实践。

提出的方法

• 解释 DDPM、SGM 和 SDE 的公式及其前向/后向扩散过程。
• 描述基于 KL 散度/VLB 与分数匹配的训练目标。
• 讨论将 LR 输入和降级模型纳入的条件变体。
• 概述高效采样、似然估计的改进及其对 SR 质量的影响。
• 回顾域特定的适应，如潜在域/小波域和空域模型（Null-Space Models）。

Figure 1 : Principle of diffusion models. The forward diffusion adds noise iteratively (red), which translates an image from the image space to the corruption space. The backward diffusion, the iterative refinement process, reverts the process (blue) back to the image space. Shown are three differen

实验结果

研究问题

• RQ1 用于图像 SR 的核心扩散模型公式有哪些（DDPMs、SGMs、SDEs）以及它们之间的关系？
• RQ2 哪些主要的架构、训练与采样策略能够通过扩散模型实现高质量的 SR？
• RQ3 在 SR 任务中，扩散模型与先前的生成方法（GAN、VAE、基于流的方法）相比如何？
• RQ4 在将扩散模型应用于 SR 时，面临哪些挑战和领域特定的考虑因素（例如医学成像、遥感）？
• RQ5 针对基于 DM 的图像 SR，未来方向与研究途径有哪些？

主要发现

• 扩散模型通过生成与人类感知判断一致的高保真样本，从而颠覆了图像 SR。
• DDPMs、SGMs 和 SDEs 提供互补视角，可以在基于扩散的 SR 框架下统一。
• 条件扩散模型能够整合 LR 输入以执行条件 SR。
• 采样效率与样本质量之间存在权衡，这通过改进的扩散公式与采样策略来解决。
• 扩散模型使得探索用于 SR 的替代输入域和条件策略成为可能，并具有领域特定的适应。
• 综述指出持续存在的挑战，如高计算需求、可比性、可解释性、颜色偏移以及零-shot 学习机会。

Figure 2 : Conceptual overview of generative models (GANs, VAEs, NFs, and DMs).