[论文解读] Diffusion Models in NLP: A Survey

Yuansong Zhu, Yu Zhao|arXiv (Cornell University)|Mar 14, 2023

Topic Modeling被引用 14

一句话总结

本文综述了自然语言处理（NLP）中的扩散模型，阐述其理论，并按文本生成、文本驱动的图像生成、文本转语音以及其他任务对NLP文献进行组织。

ABSTRACT

Diffusion models have become a powerful family of deep generative models, with record-breaking performance in many applications. This paper first gives an overview and derivation of the basic theory of diffusion models, then reviews the research results of diffusion models in the field of natural language processing, from text generation, text-driven image generation and other four aspects, and analyzes and summarizes the relevant literature materials sorted out, and finally records the experience and feelings of this topic literature review research.

研究动机与目标

• 将扩散模型作为NLP任务的强大生成框架进行动机阐释。
• 给出基于DDPM的扩散模型的基本理论和公式。
• 组织与评审在多个任务领域使用扩散模型的NLP文献。
• 收集并分析被引工作代码可用性和引用模式。

提出的方法

• 将扩 diffusion 过程和逆扩 diffusion 过程解释为带高斯噪声的马尔可夫链。
• 推导扩散模型中的前向与反向转移的关键方程（例如 X_t = sqrt{a_t} X_{t-1} + sqrt{1-a_t} Z）。
• 调查NLP中的应用：文本生成、文本驱动的图像生成、文本转语音以及其他任务。
• 总结文献，重点关注数据集、方法和报告的结果。
• 分析扩散-NLP文献中的出版渠道和引用趋势。

实验结果

研究问题

• RQ1 在NLP中使用的扩散模型的核心理论基础和公式有哪些？
• RQ2 扩散模型在NLP中的文本生成、文本驱动的图像生成和文本转语音方面的应用是如何发展的？
• RQ3 扩散模型NLP研究的发表渠道和引用趋势有哪些？
• RQ4 在基于扩散的NLP应用中识别出的显著挑战和未来方向有哪些？

主要发现

• 扩散模型自2021年以来在NLP领域迅速增长，DDPM起源于2020年，面向NLP的相关工作在2022年加速。
• 应用覆盖文本生成、文本驱动的图像生成和文本转语音，且对其他任务的探索日益增加。
• 若干基于扩散的NLP模型解决离散数据、可控生成和非自回归生成等问题。
• 文献主要集中在arXiv及CVPR、ACM-MM、ICLR/ICML/NeurIPS等主要场所，反映跨领域兴趣。
• 在NLP中，文本转图像生成的引用次数往往高于文本生成和文本转语音。