[论文解读] Empowering Diffusion Models on the Embedding Space for Text Generation

Zhujin Gao, Junliang Guo+5 more|arXiv (Cornell University)|Dec 19, 2022

Music and Audio Processing被引用 12

一句话总结

Difformer 提出了一种基于扩散的文本生成模型，通过锚损失（anchor loss）、嵌入层归一化和噪声因子，解决了嵌入空间训练中的关键挑战——损失崩溃、嵌入范数不平衡以及噪声不足问题。该模型在机器翻译和文本摘要任务上实现了最先进（SOTA）的性能，且反向步骤数显著少于先前方法。

ABSTRACT

Diffusion models have achieved state-of-the-art synthesis quality on both visual and audio tasks, and recent works further adapt them to textual data by diffusing on the embedding space. In this paper, we conduct systematic studies of the optimization challenges encountered with both the embedding space and the denoising model, which have not been carefully explored. Firstly, the data distribution is learnable for embeddings, which may lead to the collapse of the embedding space and unstable training. To alleviate this problem, we propose a new objective called the anchor loss which is more efficient than previous methods. Secondly, we find the noise levels of conventional schedules are insufficient for training a desirable denoising model while introducing varying degrees of degeneration in consequence. To address this challenge, we propose a novel framework called noise rescaling. Based on the above analysis, we propose Difformer, an embedding diffusion model based on Transformer. Experiments on varieties of seminal text generation tasks show the effectiveness of the proposed methods and the superiority of Difformer over previous state-of-the-art embedding diffusion baselines.

研究动机与目标

• 研究并解决将连续扩散模型应用于离散文本生成时，通过学习嵌入所面临的根本性挑战。
• 解决可学习嵌入导致去噪损失函数在训练过程中崩溃所引发的不稳定性问题。
• 缓解频繁词与罕见词之间嵌入范数不平衡导致的性能下降问题。
• 通过增强噪声缩放提升去噪目标的难度，从而改善模型训练。
• 实现在更少反向步骤下的高质量文本生成，提升推理效率。

提出的方法

• 引入一种锚损失函数，通过正则化模型参数和嵌入参数来稳定训练，防止损失崩溃。
• 在嵌入层应用层归一化，统一频繁词与罕见词的嵌入尺度，降低因范数差异导致的噪声敏感性。
• 引入一个噪声因子超参数，用于在前向扩散过程中放大添加的高斯噪声，提升去噪难度，增强模型泛化能力。
• 采用基于 Transformer 的架构实现反向去噪过程，有效建模连续嵌入空间中的序列依赖关系。
• 使用可变数量的反向步骤 K，并引入早期停止策略，在性能开始下降前保持高质量输出。
• 采用端到端训练方式，基于受损嵌入的去噪目标进行优化，所有组件联合训练。

实验结果

研究问题

• RQ1 在训练过程中，嵌入的可学习性如何影响扩散模型在文本生成中的稳定性和性能？
• RQ2 频繁词与罕见词之间嵌入范数的不平衡在多大程度上会降低均匀噪声注入在扩散训练中的有效性？
• RQ3 标准噪声调度是否会导致训练不足，特别是在低噪声步骤下？这种问题能否通过调整噪声幅度得到缓解？
• RQ4 所提出的组件——锚损失、归一化和噪声因子——是否能同时提升生成质量与推理速度？
• RQ5 反向步骤数量如何影响基于扩散的文本生成模型的性能与效率？

主要发现

• Difformer 在五个基准数据集上的机器翻译与文本摘要任务中，全面超越所有对比的基于扩散和非自回归基线模型。
• 该模型仅用 2 个反向步骤即实现优异性能，展现出强大的鲁棒性与效率，尤其相较于 CMLM 等迭代式非自回归模型优势显著。
• 在低步骤数下，推理速度相比 CMLM 提升了 3 倍，显示出在实时部署中的巨大潜力。
• 噪声因子显著增强了去噪能力，特别是在后期反向步骤中，有效防止了标准噪声缩放下常见的性能下降现象。
• 锚损失通过防止损失崩溃，有效稳定了训练过程，即使在嵌入参数参与优化时也保持稳定。
• 层归一化降低了不同嵌入范数的影响，使罕见词与常见词的性能表现更加一致。