[论文解读] Diffusion Models: A Comprehensive Survey of Methods and Applications

L. Yang, Zhilong Zhang+7 more|arXiv (Cornell University)|Sep 2, 2022

Mathematical Biology Tumor Growth被引用 150

一句话总结

對扩散模型的全面综述，编目基础、高效采样、似然改进，以及对具有特殊结构的数据的处理，并综述与其他生成模型的联系及广泛应用。

ABSTRACT

Diffusion models have emerged as a powerful new family of deep generative models with record-breaking performance in many applications, including image synthesis, video generation, and molecule design. In this survey, we provide an overview of the rapidly expanding body of work on diffusion models, categorizing the research into three key areas: efficient sampling, improved likelihood estimation, and handling data with special structures. We also discuss the potential for combining diffusion models with other generative models for enhanced results. We further review the wide-ranging applications of diffusion models in fields spanning from computer vision, natural language generation, temporal data modeling, to interdisciplinary applications in other scientific disciplines. This survey aims to provide a contextualized, in-depth look at the state of diffusion models, identifying the key areas of focus and pointing to potential areas for further exploration. Github: https://github.com/YangLing0818/Diffusion-Models-Papers-Survey-Taxonomy.

研究动机与目标

• 提供扩散模型基础（DDPMs、SGMs、Score SDEs）及其联系的结构化概览。
• 将近期工作分为高效采样、改进的似然性以及具有特殊结构的数据处理。
• 回顾扩散模型如何与其他生成模型（VAEs、GANs、normalizing flows、autoregressive、EBMs）结合。
• 调查在视觉、NLP、时序数据、多模态任务和跨学科领域中的广泛应用。

提出的方法

• 解释三种主要形式：DDPMs、SGMs、和 Score SDEs 及其统一视角。
• 描述通过变分下界（VLB）和分数匹配目标进行的训练。
• 讨论采样方法，包括退火 Langevin 动力学、SDE/ODE 求解器，以及预测-校正方案。
• 提出优化技术，如噪声日程设计、反转方差学习，以及精确似然性考虑。
• 概述高效采样类别：无学习采样和基于学习的采样（离散化、蒸馏、截断扩散）。
• 总结与 VAEs、GANs、normalizing flows、自回归模型和 EBM 的联系。

实验结果

研究问题

• RQ1 扩散模型的基础形式是什么，它们如何相关（DDPMs、SGMs、Score SDEs）？
• RQ2 如何在不牺牲质量的前提下，使扩散模型更快且样本效率更高？
• RQ3 如何改编扩散模型以改进似然估计并处理具有特殊结构的数据（离散、流形、不变量）？
• RQ4 扩散模型如何与其他生成模型家族（VAEs、GANs、flows、自回归、EBMs）的整合相关并受益？
• RQ5 扩散模型最具影响力的广泛应用领域及潜在未来方向有哪些？

主要发现

• 扩散模型已成为图像合成的领先技术，并在视频、分子及其他领域展现潜力。
• 该综述将进展分为高效采样、改进的似然性，以及对具有特殊结构的数据处理。
• 存在将扩散模型与其他生成模型结合以实现更强性能的潜力。
• 论文调查从计算机视觉到自然语言处理、时序数据和跨学科领域的广泛应用。
• 它通过展示在共同的扩散框架下，DDPMs、SGMs、和 Score SDEs 可以彼此简化，提供统一的视角。