[论文解读] Deterministic Non-Autoregressive Neural Sequence Modeling by Iterative Refinement

Jason Lee, Elman Mansimov+1 more|arXiv (Cornell University)|Feb 19, 2018

Natural Language Processing Techniques被引用 27

一句话总结

本文提出一种基于迭代精炼的确定性非自回归序列模型，以在保持高生成质量的同时加速解码。通过将序列生成建模为潜在变量上的一系列去噪步骤，该方法在机器翻译任务上实现比自回归模型束搜索快2–3倍的解码速度，翻译质量达到自回归模型的90–95%，图像字幕生成任务中达到85%。

ABSTRACT

We propose a conditional non-autoregressive neural sequence model based on iterative refinement. The proposed model is designed based on the principles of latent variable models and denoising autoencoders, and is generally applicable to any sequence generation task. We extensively evaluate the proposed model on machine translation (En-De and En-Ro) and image caption generation, and observe that it significantly speeds up decoding while maintaining the generation quality comparable to the autoregressive counterpart.

研究动机与目标

• 解决自回归序列模型解码速度慢的问题，这类模型依赖于如束搜索等近似、顺序的推理方式。
• 通过引入结构化、迭代的精炼过程，克服先前非自回归模型为追求速度而牺牲质量的性能差距。
• 开发一种确定性、端到端可训练的序列模型，避免随机采样，同时保持强大的生成质量。
• 实现在序列到序列任务中无需牺牲与参考序列对齐性的可并行化、低延迟推理。
• 将该方法推广至机器翻译之外的其他序列生成任务，如图像字幕生成。

提出的方法

• 将模型表述为潜在变量模型，其中 $ L $ 个中间状态逐步精炼输出序列。
• 将每一步精炼建模为去噪自编码器，学习从被破坏的版本中重建目标序列。
• 采用混合学习目标，结合变分下界最大化与重建误差最小化。
• 实施具有自适应步数的迭代解码策略，以平衡速度与质量。
• 使用基于Transformer的编码器-解码器架构进行训练，解码器通过迭代方式逐步精炼预测结果。
• 在训练过程中应用一种破坏过程，随机掩码或破坏目标序列的部分内容，以模拟去噪任务的噪声输入。

实验结果

研究问题

• RQ1 在确定性、非自回归框架中采用迭代精炼，是否能实现与自回归模型相当的生成质量，同时支持并行解码？
• RQ2 精炼步骤的数量如何影响推理速度与生成质量之间的权衡？
• RQ3 去噪自编码器目标在多大程度上能改善序列生成中长距离依赖关系的建模？
• RQ4 所提出的方法是否能在机器翻译之外的多样化序列到序列任务中实现泛化？
• RQ5 训练过程中采用的破坏策略在多大程度上影响模型在推理阶段恢复正确序列的能力？

主要发现

• 所提模型在机器翻译任务中，无论在GPU还是CPU上，解码速度均比束搜索快2–3倍，且质量损失极小。
• 在 IWSLT’16 En→De、WMT’16 En→Ro 和 WMT’14 En→De 数据集上，模型保持了自回归Transformer基线模型90–95%的BLEU分数。
• 在图像字幕生成任务中，模型在GPU上解码速度提升3倍，在CPU上提升5倍，同时保留85%的字幕质量（CIDEr得分）。
• 定性分析表明，每一轮精炼逐步提升输出质量，包括补充缺失词汇、去除错误，并优化短语如“at the time”或“holding a racquet”。
• 迭代精炼过程成功捕捉了结构与语义层面的逐步改进，子序列经历的是有意义的修正，而非随机噪声。
• 尽管实现了显著的速度提升，该模型在生成质量上仍落后于自回归基线，表明仍存在需要弥合的差距。