[论文解读] Facebook FAIR's WMT19 News Translation Task Submission

Peng‐Jen Chen, Ann Lee+5 more|arXiv (Cornell University)|Jul 15, 2019

Topic Modeling参考文献 50被引用 13

一句话总结

Facebook FAIR 参赛 WMT19 新闻翻译任务，聚焦于低资源的泰米尔语-英语和因纽皮阿昆语-英语翻译对。该方法结合了多语言预训练、数据增强、通过领域内微调实现的领域自适应以及重排序，分别在泰米尔语→英语和因纽皮阿昆语→英语任务上取得了 21.5 BLEU 和 27.9 BLEU 的成绩，表明在平行语料和单语语料均有限的情况下仍表现出色。

ABSTRACT

This paper describes Facebook AI's submission to WMT20 shared news translation task. We focus on the low resource setting and participate in two language pairs, Tamil English and Inuktitut English, where there are limited out-of-domain bitext and monolingual data. We approach the low resource problem using two main strategies, leveraging all available data and adapting the system to the target news domain. We explore techniques that leverage bitext and monolingual data from all languages, such as self-supervised model pretraining, multilingual models, data augmentation, and reranking. To better adapt the translation system to the test domain, we explore dataset tagging and fine-tuning on in-domain data. We observe that different techniques provide varied improvements based on the available data of the language pair. Based on the finding, we integrate these techniques into one training pipeline. For En->Ta, we explore an unconstrained setup with additional Tamil bitext and monolingual data and show that further improvement can be obtained. On the test set, our best submitted systems achieve 21.5 and 13.7 BLEU for Ta->En and En->Ta respectively, and 27.9 and 13.0 for Iu->En and En->Iu respectively.

研究动机与目标

• 提升在泰米尔语和因纽皮阿昆语等代表性不足语言上的低资源神经机器翻译性能。
• 通过先进的数据与模型自适应技术，有效利用有限的域外双语语料和单语语料。
• 通过领域内微调和数据集标签技术，将翻译系统适配至新闻领域。
• 将多种技术整合至统一的训练流程中，以最大化低资源语言对的性能表现。

提出的方法

• 在多语言单语语料上进行自监督预训练，以提升表征学习能力。
• 应用多语言序列到序列模型，实现在相关语言之间的知识共享。
• 采用数据增强技术，扩大有效训练数据规模。
• 通过数据集标签和领域内微调，使模型适配新闻领域。
• 实施重排序以提升解码后的翻译质量。
• 将所有技术整合至一个针对低资源场景优化的统一训练流程中。

实验结果

研究问题

• RQ1 多语言与自监督预训练在低资源设置下如何提升翻译质量？
• RQ2 领域内微调对新闻文本翻译性能有何影响？
• RQ3 在低资源翻译中，数据增强与重排序的有效性如何？
• RQ4 在不同数据可用性条件下的语言对中，不同技术的性能表现如何比较？

主要发现

• 最佳系统在泰米尔语→英语翻译任务中达到 21.5 BLEU，表明在数据有限的情况下仍表现强劲。
• 在英语→泰米尔语任务中，系统达到 13.7 BLEU，显示出在低资源条件下的有效性。
• 在因纽皮阿昆语→英语任务中，最佳系统取得 27.9 BLEU，表明对极低资源语言的强适应能力。
• 在英语→因纽皮阿昆语任务中，系统得分为 13.0 BLEU，凸显了领域特定自适应的有效性。
• 在非约束设置下，额外的泰米尔语双语语料和单语语料进一步提升了性能，证实了数据可扩展性。