[论文解读] DiffusER: Discrete Diffusion via Edit-based Reconstruction

Machel Reid, Vincent J. Hellendoorn+1 more|arXiv (Cornell University)|Oct 30, 2022

Topic Modeling被引用 8

一句话总结

DiffusER 提出了一种基于离散扩散模型的文本生成方法，通过使用 Levenshtein 操作（插入、删除、替换、保留）进行迭代式编辑重建，实现灵活、可控且高效的文本生成，适用于机器翻译、摘要生成和风格迁移等任务，性能与自回归模型相当或更优，同时支持对模型生成文本的修改。

ABSTRACT

In text generation, models that generate text from scratch one token at a time are currently the dominant paradigm. Despite being performant, these models lack the ability to revise existing text, which limits their usability in many practical scenarios. We look to address this, with DiffusER (Diffusion via Edit-based Reconstruction), a new edit-based generative model for text based on denoising diffusion models -- a class of models that use a Markov chain of denoising steps to incrementally generate data. DiffusER is not only a strong generative model in general, rivalling autoregressive models on several tasks spanning machine translation, summarization, and style transfer; it can also perform other varieties of generation that standard autoregressive models are not well-suited for. For instance, we demonstrate that DiffusER makes it possible for a user to condition generation on a prototype, or an incomplete sequence, and continue revising based on previous edit steps.

研究动机与目标

• 解决自回归模型在修改或编辑生成文本方面存在的局限性，该局限性阻碍了其在实际内容创作工作流中的可用性。
• 实现灵活的文本生成，支持基于原型、不完整序列或先前编辑的条件输入，突破单次自回归生成的限制。
• 结合扩散模型（增量去噪）的优势与基于编辑的生成方法，构建一个通用、可微分且可控的文本生成框架。
• 证明基于编辑的扩散方法可在标准 NLP 任务上实现与自回归模型相当或更优的性能，且无需外部监督数据。
• 通过允许在离散 token 空间中直接对自回归模型输出应用编辑操作，实现自回归模型与基于编辑的生成之间的互操作性。

提出的方法

• 将文本生成建模为一系列去噪步骤的马尔可夫链，每一步通过应用编辑操作（插入、删除、替换、保留）从损坏或初始状态逐步重建目标序列。
• 定义一种用于训练的合成编辑式污染与重建过程，其中模型学习逆转对真实文本随机应用的一系列编辑操作。
• 提出一种二维束搜索解码策略，联合优化时间步级和 token 级决策，以提升生成质量和效率。
• 采用直接作用于离散 token 序列的扩散过程，将反向过程建模为由噪声调度引导的一系列编辑操作。
• 使用去噪目标进行模型训练，以最小化预测编辑与将污染序列转换为真实文本所需真实编辑之间的差异。
• 通过从此类输入（如原型、部分输出）初始化扩散过程并应用编辑操作向最终输出推进，支持对任意输入序列（如原型、部分输出）进行条件生成。

实验结果

研究问题

• RQ1 在基于编辑操作的扩散模型上进行训练，是否能在机器翻译和摘要生成等标准 NLP 任务上实现与自回归模型相当的性能？
• RQ2 基于编辑的扩散方法在多大程度上能够实现可控且交互式的文本生成，例如修改模型输出或从不完整提示生成文本？
• RQ3 与标准自回归和非自回归生成方法相比，基于编辑的扩散过程在效率和质量方面表现如何？
• RQ4 该模型是否能在无需任务特定微调的情况下，泛化到多样化的文本生成任务（包括风格迁移和抽象摘要）？
• RQ5 解码策略（如束搜索、核采样）对基于编辑的扩散中推理速度与生成质量之间的权衡有何影响？

主要发现

• DiffusER 在机器翻译（WMT’14 En-De）、抽象摘要（CNN/DailyMail）和风格迁移任务上实现了与强自回归模型相当或更优的性能。
• 该模型通过支持基于原型或不完整序列的条件生成，并可通过编辑步骤迭代修改输出，展现出强大的可控性。
• 二维束搜索解码显著优于标准束搜索以及贪婪/核采样策略，尽管推理时间有所增加。
• 模型在早期扩散步骤中表现出快速的性能提升，约 20–30 步后性能趋于平稳，表明超过一定去噪步数后收益递减。
• 尽管解码速度较慢，该方法在受限环境和基于编辑的生成中仍具可行性，表明未来有望通过高效解码算法进一步优化。
• 基于编辑的过程天然支持对其他模型生成输出的后期编辑，从而在离散文本空间中开启了一种新型的模型互操作范式。