[论文解读] Diffusion Models in Vision: A Survey

Florinel-Alin Croitoru, Vlad Hondru+2 more|arXiv (Cornell University)|Sep 10, 2022

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

本综述全面概述了计算机视觉中的去噪扩散模型，涵盖三种核心公式——DDPMs、NCSNs 和 SDEs——及其在图像生成、超分辨率、图像修复和判别性任务中的应用。尽管存在计算效率低下的问题，这些模型在样本质量和多样性方面仍达到最先进水平，并提出了未来研究方向，包括高效采样、多任务学习和视频生成。

ABSTRACT

Denoising diffusion models represent a recent emerging topic in computer vision, demonstrating remarkable results in the area of generative modeling. A diffusion model is a deep generative model that is based on two stages, a forward diffusion stage and a reverse diffusion stage. In the forward diffusion stage, the input data is gradually perturbed over several steps by adding Gaussian noise. In the reverse stage, a model is tasked at recovering the original input data by learning to gradually reverse the diffusion process, step by step. Diffusion models are widely appreciated for the quality and diversity of the generated samples, despite their known computational burdens, i.e. low speeds due to the high number of steps involved during sampling. In this survey, we provide a comprehensive review of articles on denoising diffusion models applied in vision, comprising both theoretical and practical contributions in the field. First, we identify and present three generic diffusion modeling frameworks, which are based on denoising diffusion probabilistic models, noise conditioned score networks, and stochastic differential equations. We further discuss the relations between diffusion models and other deep generative models, including variational auto-encoders, generative adversarial networks, energy-based models, autoregressive models and normalizing flows. Then, we introduce a multi-perspective categorization of diffusion models applied in computer vision. Finally, we illustrate the current limitations of diffusion models and envision some interesting directions for future research.

研究动机与目标

• 系统性回顾计算机视觉中的去噪扩散模型，涵盖其理论基础与实际应用。
• 识别并比较扩散模型的三种主要公式：去噪扩散概率模型（DDPMs）、噪声条件得分网络（NCSNs）和随机微分方程（SDEs）。
• 分析扩散模型与其他深度生成模型（包括 VAEs、GANs、归一化流和自回归模型）之间的联系。
• 通过多重视角分类法对现有扩散模型在计算机视觉中的应用进行分类。
• 识别当前局限性，尤其是推理速度和文本条件生成问题，并提出未来研究方向。

提出的方法

• 将扩散模型划分为三种主要理论框架：DDPMs、NCSNs 和 SDEs，强调其数学公式及相互关系。
• 将前向扩散过程描述为在时间步上逐步添加高斯噪声，将数据逐步转化为纯噪声。
• 解释反向扩散过程为学习到的去噪过程，其中神经网络逐步预测并去除噪声，以重建数据。
• 使用 SDEs 作为统一框架，表明在特定漂移函数和扩散函数选择下，DDPMs 和 NCSNs 可作为特例推导得出。
• 通过分析其基本原理（如 VAE 中的似然最大化和 GAN 中的对抗训练），比较扩散模型与其他生成模型。
• 提出一种多重视角的应用分类法，涵盖条件生成、图像编辑和判别性任务的表征学习。

实验结果

研究问题

• RQ1 扩散模型的三种主要公式——DDPMs、NCSNs 和 SDEs——在数学结构和实际实现上有哪些差异？
• RQ2 与 GANs 和 VAEs 等其他深度生成模型相比，扩散模型在理论和实践上的关键优势是什么？
• RQ3 扩散模型在哪些计算机视觉任务中表现出优越性能？它们在分布外样本或复杂提示下的泛化能力如何？
• RQ4 当前扩散模型的主要局限性是什么，尤其是推理速度和文本条件生成方面？
• RQ5 哪些未来研究方向可提升扩散模型在视觉任务中的效率、通用性和泛化能力？

主要发现

• 扩散模型在图像生成中实现了最先进水平的样本质量和多样性，例如 Stable Diffusion 模型即使在不现实场景下也能生成高度细节化且与提示对齐的图像。
• 扩散模型中的反向去噪过程通过在每一步使用基于得分或去噪的预测，逐步从噪声中重建数据。
• Stable Diffusion 作为潜在扩散模型（LDMs）的一种变体，展现出对未见文本提示的强大零样本泛化能力，表明其具备稳健的条件生成能力。
• 尽管样本质量极高，扩散模型仍需大量推理步骤（例如 50–1000 步），导致其显著慢于 GANs，后者在实时生成方面仍具优势。
• 用于文本条件生成的 CLIP 嵌入可能继承拼写和语言上的局限性，导致在生成图像中出现无法阅读的文本。
• 扩散模型学习到的潜在表征在判别性任务（如图像分割、分类和异常检测）中表现出实用性，表明其具备强大的特征学习能力。