[论文解读] The Volctrans GLAT System: Non-autoregressive Translation Meets WMT21

Lihua Qian, Yi Zhou+8 more|arXiv (Cornell University)|Sep 23, 2021

Natural Language Processing Techniques参考文献 19被引用 6

一句话总结

本文提出 Volctrans GLAT 系统，一种基于 Glancing Transformer 的非自回归翻译模型，在 WMT21 德语到英语新闻翻译任务中实现了最先进性能。通过结合知识蒸馏、多阶段训练、领域自适应以及具有多样化特征的重排序策略，该系统取得了 35.0 的 BLEU 分数——超越所有自回归基线模型——证明并行解码在速度与准确率方面均可优于自回归方法。

ABSTRACT

This paper describes the Volctrans' submission to the WMT21 news translation shared task for German->English translation. We build a parallel (i.e., non-autoregressive) translation system using the Glancing Transformer, which enables fast and accurate parallel decoding in contrast to the currently prevailing autoregressive models. To the best of our knowledge, this is the first parallel translation system that can be scaled to such a practical scenario like WMT competition. More importantly, our parallel translation system achieves the best BLEU score (35.0) on German->English translation task, outperforming all strong autoregressive counterparts.

研究动机与目标

• 开发一个高性能、高效的非自回归翻译系统，用于 WMT21 新闻翻译共享任务。
• 通过引入辅助解码器，缩小非自回归模型在训练与推理之间的差距。
• 通过数据蒸馏、多阶段训练和领域自适应提升模型性能。
• 在保持快速推理速度的同时实现最高 BLEU 分数，挑战自回归模型的主导地位。
• 证明并行解码在翻译质量方面可优于自回归解码。

提出的方法

• 该系统基于 Glancing Transformer (GLAT)，采用两阶段训练流程：首先并行生成完整句子，然后对部分预测进行掩码与精炼，以减少训练与推理之间的差异。
• 引入一个辅助解码器，与 GLAT 解码器共享同一编码器，通过多任务学习提升训练效果，并缩小训练与推理之间的差距。
• 利用大型自回归模型生成合成平行数据，实施知识蒸馏，随后用于训练非自回归模型。
• 采用多阶段训练，逐步利用蒸馏数据优化模型，提升泛化能力与鲁棒性。
• 推理阶段采用带噪声的并行解码，生成多个长度候选，并通过重排序机制从 252 个候选中选择最佳假设，使用 11 个选定特征进行评估。
• 重排序模型通过 kbmira 进行优化，逐步添加特征组并调整权重，以在 newstest20 上最大化 BLEU 性能。

实验结果

研究问题

• RQ1 在 WMT21 这类大规模真实世界翻译基准中，非自回归翻译系统是否能够实现优于自回归模型的性能？
• RQ2 当与多阶段训练结合时，知识蒸馏在提升非自回归模型性能方面的有效性如何？
• RQ3 领域自适应与辅助解码器在多大程度上可以缩小非自回归模型在训练与推理之间的差距？
• RQ4 使用多样化特征和多个模型变体进行重排序，是否能显著提升非自回归系统的最终翻译质量？
• RQ5 是否可能在保持高推理速度的同时，通过并行解码策略实现最先进 BLEU 分数？

主要发现

• Volctrans GLAT 系统在 WMT21 newstest21 德语到英语翻译数据集上取得了 35.0 的 BLEU 分数，超越所有自回归基线模型。
• 与基础 GLAT 模型相比，辅助解码器使性能提升了约 0.6 BLEU 分。
• 在目标单语数据上实施知识蒸馏带来了 0.3 的 BLEU 提升，表明数据利用效率较高。
• 对 GLAT 模型进行领域自适应后，性能额外提升了 0.2 BLEU，即使循环知识蒸馏数据中已包含领域内信息。
• 最终的重排序步骤结合多样化特征与优化的 kbmira 权重，使性能提升了 0.6 BLEU 分，凸显了假设重排序的有效性。
• 该系统表明，非自回归模型能够实现最先进结果，挑战了自回归模型在翻译质量上天然更优的假设。