[论文解读] Fully Non-autoregressive Neural Machine Translation: Tricks of the Trade

Jiatao Gu, Xiang Kong|arXiv (Cornell University)|Dec 31, 2020

Natural Language Processing Techniques参考文献 36被引用 10

一句话总结

该论文提出了一种完全非自回归神经机器翻译（NAT）模型，通过在训练数据、模型架构、训练目标和学习策略中结合依赖性减少技术，实现了最先进性能。该模型在 WMT14 En-De 上达到 27.49 BLEU，且推理速度比自回归 Transformer 快 16 倍以上，缩小了与自回归模型的性能差距，同时保持了并行推理的优势。

ABSTRACT

Fully non-autoregressive neural machine translation (NAT) is proposed to simultaneously predict tokens with single forward of neural networks, which significantly reduces the inference latency at the expense of quality drop compared to the Transformer baseline. In this work, we target on closing the performance gap while maintaining the latency advantage. We first inspect the fundamental issues of fully NAT models, and adopt dependency reduction in the learning space of output tokens as the basic guidance. Then, we revisit methods in four different aspects that have been proven effective for improving NAT models, and carefully combine these techniques with necessary modifications. Our extensive experiments on three translation benchmarks show that the proposed system achieves the new state-of-the-art results for fully NAT models, and obtains comparable performance with the autoregressive and iterative NAT systems. For instance, one of the proposed models achieves 27.49 BLEU points on WMT14 En-De with approximately 16.5X speed up at inference time.

研究动机与目标

• 在保持低推理延迟的前提下，缩小完全非自回归（NAT）与自回归（AT）神经机器翻译模型之间的性能差距。
• 识别依赖性学习是 NAT 中的核心挑战，即输出标记之间错误的独立性假设会降低翻译质量。
• 系统性地研究并整合四种关键技术——知识蒸馏、CTC 损失、基于 VAE 的训练和 GLAT——到统一的 NAT 框架中，以减少输出标记之间的依赖性。
• 证明通过仔细调整架构和训练方式，结合这些方法可使 NAT 模型在无需迭代优化的情况下达到与自回归模型相当的性能。
• 在标准基准上取得具有竞争力的结果，同时保持高速并行解码，挑战了‘迭代优化对高精度 NAT 是必需的’这一假设。

提出的方法

• 使用强大的自回归教师模型进行知识蒸馏，提供软目标，以减轻 NAT 学生模型在依赖性学习上的负担。
• 引入基于 CTC 的训练方法，通过上采样编码器输出，使预测序列与参考序列对齐，提升对齐效果并减少误差传播。
• 采用基于 VAE 的训练方法，结合单调对齐约束，以稳定潜在空间建模并提升序列生成质量。
• 集成 GLAT 风格的训练策略，通过掩码标记预测和训练过程中的迭代优化，即使最终推理仍保持完全并行。
• 将这些技术与架构改进相结合，包括更深的解码器头和优化的损失加权策略，以增强建模能力，同时不增加推理延迟。
• 采用多阶段训练策略：首先使用蒸馏和 CTC 进行预训练，然后使用 VAE 和 GLAT 目标进行微调，逐步提升对齐精度和语言流畅性。

实验结果

研究问题

• RQ1 完全非自回归 NMT 模型是否能在无需迭代优化的情况下实现与自回归 Transformer 相当的性能？
• RQ2 在 NAT 模型的学习空间中，哪些关键组件能够减少输出标记之间的依赖性？
• RQ3 知识蒸馏、CTC 损失、VAE 和 GLAT 如何分别及共同提升 NAT 性能？
• RQ4 是否能在保持高速并行推理的同时，弥合 NAT 与 AT 模型之间的性能差距？
• RQ5 在完全非自回归系统中，模型容量、延迟与准确率之间存在何种权衡？如何实现优化？

主要发现

• 所提出的完全 NAT 模型在 WMT14 En-De 上达到 27.49 BLEU，性能与强大的自回归模型相当，同时实现 16.5 倍的推理加速。
• 知识蒸馏对依赖性减少至关重要，能显著提升 NAT 性能，但可能抑制罕见词的词汇选择。
• 采用上采样比 λ = 2.5 的 CTC 训练方法在 WMT14 En-De 上取得最佳 BLEU 得分为 26.54，且在不同硬件上对延迟影响极小。
• 结合 CTC、蒸馏、VAE 和 GLAT 技术后，相比基线 NAT 模型，BLEU 提升超过 10 分，成功缩小了与自回归基线的差距。
• 该模型在 GPU 和 CPU 上均保持了高达 16.5 倍的加速比，GPU 上单样本推理延迟仅为 17.0 ms，即使在更高上采样比下也保持高效。
• 该方法在多个翻译方向上具有良好的泛化能力，在三个标准基准上均取得 SOTA 结果，且无需迭代解码。