[论文解读] Fine-Tuning by Curriculum Learning for Non-Autoregressive Neural Machine Translation

Junliang Guo, Xu Tan+4 more|arXiv (Cornell University)|Nov 20, 2019

Natural Language Processing Techniques参考文献 37被引用 8

一句话总结

本文提出了一种基于课程学习的微调方法，通过逐步从预训练的自回归翻译（AT）模型迁移知识，以提升非自回归神经机器翻译（NAT）的性能。通过在解码输入和注意力掩码上进行受控的课程调度，逐步实现从自回归到非自回归解码的转换，该方法在多个基准测试中实现了超过1 BLEU的翻译准确率提升，同时相比AT模型保持了超过10倍的推理加速。

ABSTRACT

Non-autoregressive translation (NAT) models remove the dependence on previous target tokens and generate all target tokens in parallel, resulting in significant inference speedup but at the cost of inferior translation accuracy compared to autoregressive translation (AT) models. Considering that AT models have higher accuracy and are easier to train than NAT models, and both of them share the same model configurations, a natural idea to improve the accuracy of NAT models is to transfer a well-trained AT model to an NAT model through fine-tuning. However, since AT and NAT models differ greatly in training strategy, straightforward fine-tuning does not work well. In this work, we introduce curriculum learning into fine-tuning for NAT. Specifically, we design a curriculum in the fine-tuning process to progressively switch the training from autoregressive generation to non-autoregressive generation. Experiments on four benchmark translation datasets show that the proposed method achieves good improvement (more than $1$ BLEU score) over previous NAT baselines in terms of translation accuracy, and greatly speed up (more than $10$ times) the inference process over AT baselines.

研究动机与目标

• 解决非自回归（NAT）与自回归（AT）神经机器翻译模型之间的准确率差距。
• 在两种模型训练策略不同的前提下，实现从训练良好的AT模型到NAT模型的有效知识迁移。
• 通过引入逐步推进的课程学习机制，实现从AT到NAT生成的渐进式过渡，从而提升NAT模型性能。
• 缓解NAT模型中因目标上下文丢失而导致的翻译质量下降问题。
• 通过结构化的知识蒸馏实现推理速度与翻译准确率之间的更好权衡。

提出的方法

• 设计一种课程学习机制，在微调过程中逐步用NAT解码输入（如源序列复制或其他与目标无关的信号）替代AT解码输入（先前的目标词）。
• 将注意力掩码从AT风格（从左到右）逐步过渡到NAT风格（完整自注意力），从AT开始，经过预设步骤后完全切换为NAT模式。
• 解码输入的替换率在训练步数中单调递增，采用对数 pacing 函数以实现最优性能。
• 评估了两种替换策略：词粒度（逐词替换）和句子粒度（整句替换），其中前者表现更优。
• 该方法利用过渡过程中的中间状态，在保留AT模型知识的同时，适应NAT设置。
• 该方法应用于微调预训练的AT模型，采用混合训练策略，从AT开始，逐步过渡到NAT模式。

实验结果

研究问题

• RQ1 训练良好的自回归模型能否被有效微调以提升非自回归翻译的准确率？
• RQ2 如何将课程学习应用于弥合自回归与非自回归训练策略之间的差距？
• RQ3 在微调过程中，从自回归到非自回归生成的最优 pacing 函数是什么？
• RQ4 在NAT微调中，词粒度还是句子粒度的解码输入替换策略能带来更好的性能？
• RQ5 所提出的方法在不使用显式正则化的情况下，能在多大程度上减少NAT输出中的重复词生成？

主要发现

• 在IWSLT14德语-英语任务上，该方法相比最佳NAT基线模型，翻译准确率提升了1.87 BLEU；在WMT14英语-德语任务上提升了1.14 BLEU。
• 与先前的NAT基线相比，该方法在全部四个基准数据集上均实现了超过1 BLEU的准确率提升。
• 对数 pacing 函数在课程调度中表现优于线性函数和阶梯状函数，表明在较高替换率下长期暴露具有优势。
• 词粒度替换策略显著优于句子粒度策略，凸显了在知识迁移过程中利用中间状态的重要性。
• 与基线NAT模型相比，该模型将每句话中连续重复词的平均数量减少了57%，即使未使用显式正则化。
• 推理速度比自回归基线模型快超过10倍，同时保持了具有竞争力的翻译质量。