[论文解读] DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models

Shansan Gong, Mukai Li+3 more|arXiv (Cornell University)|Oct 9, 2023

Speech Recognition and SynthesisComputer Science被引用 3

一句话总结

DiffuSeq-v2 通过引入一个学习得到的软吸收状态，弥合了离散与连续文本空间之间的差距，实现了更快的训练收敛速度和 800 倍的采样加速，同时保持了高质量输出。该方法通过离散噪声注入实现了训练与推理的一致性，消除了对 MBR 解码的需求。

ABSTRACT

Diffusion models have gained prominence in generating high-quality sequences of text. Nevertheless, current approaches predominantly represent discrete text within a continuous diffusion space, which incurs substantial computational overhead during training and results in slower sampling speeds. In this paper, we introduce a soft absorbing state that facilitates the diffusion model in learning to reconstruct discrete mutations based on the underlying Gaussian space, thereby enhancing its capacity to recover conditional signals. During the sampling phase, we employ state-of-the-art ODE solvers within the continuous space to expedite the sampling process. Comprehensive experimental evaluations reveal that our proposed method effectively accelerates the training convergence by 4x and generates samples of similar quality 800x faster, rendering it significantly closer to practical application. \footnote{The code is released at \url{https://github.com/Shark-NLP/DiffuSeq}

研究动机与目标

• 解决连续扩散模型在文本生成中训练和采样速度缓慢的问题。
• 弥合基于扩散的 Seq2Seq 模型在训练和推理阶段之间的分布差距。
• 通过对齐离散与连续扩散过程，实现在不依赖 MBR 解码的情况下加速采样。
• 将最先进的 ODE 求解器（如 DPM-solver++）集成到文本扩散模型中，以实现更快的推理速度。
• 通过联合去噪连续噪声和离散噪声源，提升模型收敛速度和生成质量。

提出的方法

• 引入一个在训练过程中注入序列的可学习软吸收状态，以模拟离散标记的变化。
• 使用时间相关的比例，随机将连续标记嵌入替换为软吸收状态，从而创建一种混合噪声调度。
• 在训练中联合去噪高斯噪声和离散吸收状态扰动，以增强对离散信号的重建能力。
• 将 DPM-solver++ 适配于文本生成，实现在仅 2 步内完成高质量采样。
• 通过离散噪声注入对齐训练与推理，从而在推理阶段移除钳位操作，减少舍入误差。
• 采用 FP16 混合精度训练，使收敛速度加快超过 4 倍，总训练时间显著减少。

实验结果

研究问题

• RQ1 学习得到的软吸收状态是否能有效弥合扩散模型中离散与连续文本空间之间的差距？
• RQ2 在训练中注入离散噪声是否能改善训练与推理的一致性，从而减少对 MBR 解码的依赖？
• RQ3 最先进的 ODE 求解器（如 DPM-solver++）是否能有效应用于文本扩散模型，以加速采样？
• RQ4 对连续噪声和离散噪声进行联合去噪在多大程度上能提升训练收敛速度和生成质量？
• RQ5 控制吸收状态比例的超参数对模型性能和稳定性有何影响？

主要发现

• 通过联合去噪和 FP16 训练，DiffuSeq-v2 的训练收敛速度相比原始 DiffuSeq 提高了 4 倍。
• 该方法在仅 2 步采样步骤内即可实现比 DiffuSeq 使用 MBR 解码快 800 倍的高质量样本生成，且 BLEU 分数相当。
• 使用 DPM-solver++ 在 2 步内采样，其速度和质量均优于使用 MBR 解码的 DiffuSeq（10 步采样）。
• 由于通过软吸收状态改善了训练与推理的一致性，推理阶段移除钳位操作对性能影响极小。
• 消融实验证实，软吸收状态至关重要——在推理阶段移除它会导致 BLEU 分数下降 14.9%，证明了其在对齐中的关键作用。
• 最优吸收状态比例 γ = 0.5 在性能上达到最佳平衡，极端值会降低生成质量。