[论文解读] A Study of Multilingual Neural Machine Translation

Xu Tan, Yichong Leng+4 more|arXiv (Cornell University)|Dec 25, 2019

Natural Language Processing Techniques参考文献 38被引用 8

一句话总结

本文对包含超过20种语言的多语言神经机器翻译（NMT）进行了全面的实证研究，揭示了在模型容量受限的情况下，低资源语言对在多语言训练中显著受益，而高资源语言对可能表现下降。主要发现包括：在一对一多语言设置中微调优于端到端训练；分层微调策略有效；对于语系相近的语言，直接翻译优于通过中间语言的翻译；在训练集中引入更多样化的语言可提升零样本翻译性能。

ABSTRACT

Multilingual neural machine translation (NMT) has recently been investigated from different aspects (e.g., pivot translation, zero-shot translation, fine-tuning, or training from scratch) and in different settings (e.g., rich resource and low resource, one-to-many, and many-to-one translation). This paper concentrates on a deep understanding of multilingual NMT and conducts a comprehensive study on a multilingual dataset with more than 20 languages. Our results show that (1) low-resource language pairs benefit much from multilingual training, while rich-resource language pairs may get hurt under limited model capacity and training with similar languages benefits more than dissimilar languages; (2) fine-tuning performs better than training from scratch in the one-to-many setting while training from scratch performs better in the many-to-one setting; (3) the bottom layers of the encoder and top layers of the decoder capture more language-specific information, and just fine-tuning these parts can achieve good accuracy for low-resource language pairs; (4) direct translation is better than pivot translation when the source language is similar to the target language (e.g., in the same language branch), even when the size of direct training data is much smaller; (5) given a fixed training data budget, it is better to introduce more languages into multilingual training for zero-shot translation.

研究动机与目标

• 研究语言相似性和资源分布如何影响多语言NMT的性能。
• 在不同翻译设置（一对一 vs. 多对一）下，比较微调与从零开始训练的性能差异。
• 识别在适应低资源语言对时，应微调预训练NMT模型的哪些组件（编码器/解码器层）。
• 评估在低资源场景下，直接翻译与通过中间语言翻译之间的权衡。
• 理解语言多样性对零样本翻译准确率的影响。

提出的方法

• 在涵盖超过20种语言的数据集上训练多语言NMT模型，包含高资源和低资源语言对。
• 通过消融实验，在一对一和多对一翻译设置下比较微调与从零开始训练的性能。
• 进行逐层微调实验，选择性地更新底部编码器层或顶部解码器层，以评估各组件的特定影响。
• 通过多种语言对评估直接翻译与通过中间语言翻译的性能，同时控制训练数据量和语言相似性。
• 构建零样本翻译模型，逐步增加语言数量（2、12、22种），同时控制训练数据总量，以隔离语言多样性的独立影响。
• 使用BLEU分数对不同配置和设置下的翻译性能进行定量比较。

实验结果

研究问题

• RQ1 在多语言NMT模型中，应如何分组语言以实现最佳性能？
• RQ2 在多语言NMT中，微调是否优于从零开始训练？其效果在不同翻译设置下如何变化？
• RQ3 在将预训练NMT模型适配至低资源语言对时，应微调其哪些组件？
• RQ4 在低资源场景下，特别是当直接翻译数据稀缺时，通过中间语言的翻译是否优于直接翻译？
• RQ5 影响零样本翻译准确率的因素有哪些？语言多样性在其中起到何种作用？

主要发现

• 低资源语言对在多语言训练中表现出显著的性能提升，而高资源语言对在模型容量受限时可能性能下降。
• 在一对一翻译设置中，微调优于从零开始训练；而在多对一设置中，从零开始训练表现更优。
• 仅微调编码器的底层或解码器的顶层即可在极小参数更新下，为低资源语言对带来优异性能。
• 当源语言和目标语言语系相近时，即使直接翻译对的训练数据显著更少，直接翻译仍优于通过中间语言的翻译。
• 在保持总数据量不变的情况下，训练集中包含更多样化的语言可显著提升零样本翻译的准确率。
• 引入20种多样化语言（Zero-22）的模型优于仅包含12种语言（Zero-12）的模型，即使数据预算相近，证明了语言多样性的优势。