[论文解读] Diffusion-NAT: Self-Prompting Discrete Diffusion for Non-Autoregressive Text Generation

Kun Zhou, Yifan Li+2 more|arXiv (Cornell University)|May 6, 2023

Topic Modeling被引用 7

一句话总结

Diffusion-NAT 将离散扩散与 BART 统一用于非自回归文本生成，使用自提示迭代 refine 输出并提升质量。

ABSTRACT

Recently, continuous diffusion models (CDM) have been introduced into non-autoregressive (NAR) text-to-text generation. However, the discrete nature of text increases the difficulty of CDM to generate coherent and fluent texts, and also causes the incompatibility problem between CDM and advanced NLP techniques, especially the popular pre-trained language models~(PLMs). To solve it, we propose Diffusion-NAT, which introduces discrete diffusion models~(DDM) into NAR text-to-text generation and integrates BART to improve the performance. By revising the decoding process of BART and the typical settings of DDM, we unify the inference process of BART and the denoising process of DDM into the same NAR masked tokens recovering task. In this way, DDM can rely on BART to perform denoising, which can benefit from both the rich pre-learned knowledge of BART and the iterative refining paradigm of DDM. Besides, we also propose the iterative self-prompting strategy to further improve the generation quality. Experimental results on 7 datasets show that our approach can outperform competitive NAR methods, and even surpass autoregressive methods. Our code and data will be publicly released.

研究动机与目标

• 将离散扩散与预训练语言模型（PLMs）用于非自回归文本生成的整合作为动机。
• 开发一个统一的 NMTR（掩码令牌恢复）框架，将 DDM 去噪与 BART 推理耦合起来。
• 为兼容性，改写 BART 解码以实现并行掩码令牌恢复并移除时间步嵌入。
• 引入迭代自提示以实现对中间输出的多轮 refinement 与 deep deliberation。
• 在七个数据集上展示相对于竞争性 NAR 方法和具有竞争性的 AR 基线的改进。

提出的方法

• 使用带有吸收状态 [MASK] 的离散扩散，在整个步骤中逐步将目标标记噪声化为 [MASK]。
• 修订 BART 解码，在每一步通过 BART 编码器/解码器执行非自回归的掩码令牌恢复（Y_t -> Y_0）。
• 移除时间步嵌入，并训练在给定 Y_t 和 C 时预测原始标记 Y_0，以符合 NMTR 目标。
• 用 Q_t 将 [MASK] 作为吸收状态来逐渐屏蔽标记以建模前向过程。
• 引入迭代自提示，模型使用自己先前的 Y_0 作为提示来 refin subsequent 生成。
• 利用 DDIM 风格的快速推理并启用基于提示的 refinements，以充分利用 BART 的预训练知识。

实验结果

研究问题

• RQ1 离散扩散能否在不引入大量额外参数的情况下与 BART 有效整合用于 NAR 文本生成？
• RQ2 将扩散去噪与掩码令牌恢复统一后，生成文本的连贯性和多样性是否比现有 NAR 方法有所提升？
• RQ3 通过在基于 PLM 的去噪过程中实现多轮思考，迭代自提示是否能显著提升质量？
• RQ4 该方法在不同文本生成任务（对话、摘要、问答）及数据集上的表现如何？
• RQ5 使用离散扩散与 NAR PLMs 时在延迟和准确性之间的权衡是什么？

主要发现

• 在若干基准测试中优于有竞争力的非自回归方法，甚至在某些基准上超过自回归模型。
• 在 PersonaChat 上，相对于基线在整体指标和多样性（distinct-1/2）方面取得显著提升。
• 在 XSUM 和 SQuAD v1.1 上，与若干 AR 和 NAR 基线相比，仍具竞争力或超越，覆盖 ROUGE/BLEU/METEOR。
• 在 MSNews、MSQG 和 CoQA 上，展现出强劲的 ROUGE-L 和 F1 表现，体现对多任务的鲁棒性。
• PersonaChat 的人类评估表明其流畅性具有竞争力且信息性高于 AR 和 NAR 基线。