[论文解读] A Survey of Diffusion Models in Natural Language Processing

Hao Zou, Zae Myung Kim+1 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用 7

一句话总结

本综述对自然语言处理中的扩散模型进行了全面分析，将其与自回归模型进行比较，突出其在并行生成、分词级控制和鲁棒性方面的优势。文章探讨了两种主要方法——离散扩散模型与基于嵌入的扩散模型，并强调了Transformer架构的整合以及未来方向，如大规模和多模态扩散语言模型。

ABSTRACT

This survey paper provides a comprehensive review of the use of diffusion models in natural language processing (NLP). Diffusion models are a class of mathematical models that aim to capture the diffusion of information or signals across a network or manifold. In NLP, diffusion models have been used in a variety of applications, such as natural language generation, sentiment analysis, topic modeling, and machine translation. This paper discusses the different formulations of diffusion models used in NLP, their strengths and limitations, and their applications. We also perform a thorough comparison between diffusion models and alternative generative models, specifically highlighting the autoregressive (AR) models, while also examining how diverse architectures incorporate the Transformer in conjunction with diffusion models. Compared to AR models, diffusion models have significant advantages for parallel generation, text interpolation, token-level controls such as syntactic structures and semantic contents, and robustness. Exploring further permutations of integrating Transformers into diffusion models would be a valuable pursuit. Also, the development of multimodal diffusion models and large-scale diffusion language models with notable capabilities for few-shot learning would be important directions for the future advance of diffusion models in NLP.

研究动机与目标

• 提供自然语言处理中扩散模型的全面综述，涵盖其建模范式、优势与局限性。
• 将扩散模型与自回归模型进行比较，强调其在并行生成、插值和鲁棒性方面的优势。
• 研究Transformer如何被整合到扩散架构中，以提升自然语言处理任务中的性能。
• 识别关键的研究空白与未来方向，包括大规模扩散语言模型和多模态扩散建模。
• 解决扩散型自然语言处理系统中离散文本特性与模型可解释性等挑战。

提出的方法

• 将自然语言处理中的扩散模型分为两类：使用类别分布的离散扩散模型，以及使用连续空间并注入噪声的嵌入扩散模型。
• 通过将去噪扩散概率模型（DDPM）框架应用于文本，将前向过程建模为马尔可夫链，每一步通过方差调度 βt 添加噪声。
• 使用重参数化方法将 xt 表示为 x0 和噪声的函数：xt = √αt x0 + √(1−αt) zt，从而实现 q(xt|x0) 的闭式推导。
• 在Transformer模块中引入正弦位置嵌入，将时间步 t 的信息融入模型，使模型能够关注扩散步骤的上下文。
• 在嵌入扩散模型中引入嵌入与四舍五入机制，以在前向和反向过程中实现离散标记到连续向量的映射及其逆向转换。
• 分析结合Transformer与扩散模型的架构变体，重点关注注意力机制如何处理扩散过程中的序列与时间动态。

实验结果

研究问题

• RQ1 在自然语言处理任务中，扩散模型与自回归模型在生成速度、控制能力与鲁棒性方面有何差异？
• RQ2 用于文本生成的离散与基于嵌入的扩散模型在架构上有哪些关键区别？
• RQ3 如何有效将Transformer整合到扩散模型中，以增强自然语言处理中的序列建模能力？
• RQ4 在少样本学习与多模态场景下，扩散模型在自然语言处理中的最有前景的未来发展方向是什么？
• RQ5 在应用于自然语言等离散结构化数据时，扩散模型仍面临哪些主要挑战？

主要发现

• 扩散模型在并行生成方面优于自回归模型，可通过同时生成所有标记实现更快的推理速度。
• 扩散模型在文本插值和分词级控制方面表现更优，例如在句法与语义层面的操控。
• 与自回归模型相比，扩散模型对输入噪声更具鲁棒性，在输入被污染时仍能保持高质量的生成结果。
• 基于嵌入的扩散模型通过将离散标记映射到连续空间并施加高斯噪声，取得了具有竞争力的性能，反向采样中使用四舍五入机制。
• 离散扩散模型通过在标记级别施加离散扰动，将扩散过程推广至类别数据，从而保留了文本的离散特性。
• 未来研究应聚焦于扩展扩散语言模型以支持少样本学习，并开发能够融合视觉与语言的多模态扩散模型。