[论文解读] Generative AI in Vision: A Survey on Models, Metrics and Applications

Gaurav Raut, Apoorv Singh|arXiv (Cornell University)|Feb 26, 2024

Retinal Imaging and AnalysisMedicine被引用 3

一句话总结

本综述全面概述了计算机视觉中的扩散模型与传统生成模型，详细阐述了其理论基础、最先进架构及多样化应用，如文本到图像生成、图像修复和超分辨率。综述重点介绍了去噪扩散概率模型（DDPM）、基于得分的建模以及潜在扩散模型的关键进展，同时指出了在可扩展性、可解释性及伦理AI方面的重要挑战与未来研究方向。

ABSTRACT

Generative AI models have revolutionized various fields by enabling the creation of realistic and diverse data samples. Among these models, diffusion models have emerged as a powerful approach for generating high-quality images, text, and audio. This survey paper provides a comprehensive overview of generative AI diffusion and legacy models, focusing on their underlying techniques, applications across different domains, and their challenges. We delve into the theoretical foundations of diffusion models, including concepts such as denoising diffusion probabilistic models (DDPM) and score-based generative modeling. Furthermore, we explore the diverse applications of these models in text-to-image, image inpainting, and image super-resolution, along with others, showcasing their potential in creative tasks and data augmentation. By synthesizing existing research and highlighting critical advancements in this field, this survey aims to provide researchers and practitioners with a comprehensive understanding of generative AI diffusion and legacy models and inspire future innovations in this exciting area of artificial intelligence.

研究动机与目标

• 系统性回顾计算机视觉中的生成式AI模型，重点关注扩散模型与传统架构。
• 分析扩散模型的理论基础，包括DDPM与基于得分的生成建模。
• 综述最先进的应用，如文本到图像合成、图像修复、超分辨率与异常检测。
• 识别扩散模型在训练稳定性、可扩展性与可解释性方面的关键挑战。
• 概述未来研究方向，包括时间序列预测、物理启发建模与伦理考量。

提出的方法

• 调研基础生成模型，包括VAE、GAN、归一化流与能量模型。
• 详细阐述DDPM中的前向与反向扩散过程：通过学习去噪逐步去除噪声。
• 解释前向过程中马尔可夫链的应用：$ x_t = \sqrt{1-\beta_t}x_{t-1} + \sqrt{\beta_t}\epsilon $，其中 $ \epsilon \sim \mathcal{N}(0, I) $。
• 提出反向扩散核（RDK）作为神经网络，用于在每一步预测噪声以重建数据。
• 回顾条件扩散模型（如Stable Diffusion与Palette），其利用文本或掩码图像进行条件控制。
• 分析特定应用，如基于DDPM重建并结合单纯形噪声扰动的AnoDDPM在异常检测中的应用。

Figure 1 : a) Images generated using stable diffusion [ 70 ] ; b) Image super-resolution results from SR3 [ 72 ] ; c) Image inpainting results from Palette [ 73 ]

实验结果

研究问题

• RQ1 与GAN和VAE相比，扩散模型（如DDPM与基于得分的模型）如何实现高保真度图像生成？
• RQ2 在文本到图像生成与图像修复任务中，实现最先进性能的关键架构与训练创新是什么？
• RQ3 如何将扩散模型适配于下游任务，如图像超分辨率、图像着色与异常检测？
• RQ4 当前扩散模型在训练稳定性、推理速度与可解释性方面的主要局限是什么？
• RQ5 未来研究方向（如物理启发建模或时间序列预测）中，哪些最有可能推动基于扩散的生成式AI发展？

主要发现

• 扩散模型，特别是DDPM与潜在扩散模型，通过学习逆转渐进加噪过程，实现高质量图像生成。
• 条件扩散模型（如Palette与RePaint）利用马尔可夫链特性，仅对掩码区域进行去噪，从而实现高保真度图像修复。
• AnoDDPM通过在健康图像上训练DDPM并测量扰动测试样本的重建误差，实现异常检测。
• 潜在扩散模型（如Stable Diffusion）通过在压缩潜在空间中运行，显著提升了效率。
• 尽管性能优异，扩散模型仍面临训练稳定性、计算成本与可解释性方面的挑战。
• 未来研究亟需关注时间序列预测、物理启发建模以及解决偏见与社会影响等伦理问题。

Figure 2 : An extension of generative models classification based on [ 25 ]