[论文解读] Low Resource Neural Machine Translation: A Benchmark for Five African Languages

Surafel M. Lakew, Matteo Negri+1 more|arXiv (Cornell University)|Mar 31, 2020

Natural Language Processing Techniques参考文献 39被引用 20

一句话总结

本文提出了一项针对英语与五种非洲语言（斯瓦希里语、阿姆哈拉语、提格雷尼亚语、奥罗莫语和索马里语，统称为SATOS）之间低资源神经机器翻译（NMT）的基准测试。评估了单语言、半监督、迁移学习及多语言NMT模型，结果表明多语言建模在十个翻译方向中的六个里将BLEU分数提升了最高+5分，同时发布了标准化的训练数据集和测试集以支持未来研究。

ABSTRACT

Recent advents in Neural Machine Translation (NMT) have shown improvements in low-resource language (LRL) translation tasks. In this work, we benchmark NMT between English and five African LRL pairs (Swahili, Amharic, Tigrigna, Oromo, Somali [SATOS]). We collected the available resources on the SATOS languages to evaluate the current state of NMT for LRLs. Our evaluation, comparing a baseline single language pair NMT model against semi-supervised learning, transfer learning, and multilingual modeling, shows significant performance improvements both in the En-LRL and LRL-En directions. In terms of averaged BLEU score, the multilingual approach shows the largest gains, up to +5 points, in six out of ten translation directions. To demonstrate the generalization capability of each model, we also report results on multi-domain test sets. We release the standardized experimental data and the test sets for future works addressing the challenges of NMT in under-resourced settings, in particular for the SATOS languages.

研究动机与目标

• 将神经机器翻译（NMT）的前沿拓展至五种资源匮乏的非洲语言：斯瓦希里语、阿姆哈拉语、提格雷尼亚语、奥罗莫语和索马里语（SATOS）。
• 评估半监督学习、迁移学习及多语言建模在低资源NMT设置下的有效性。
• 发布标准化的训练数据集和多领域测试集，以支持未来在零样本和无监督翻译方面的研究。
• 识别低资源NMT中的开放性问题，包括数据稀缺、领域分布偏移以及零资源翻译挑战。

提出的方法

• 从OPUS、圣经、Tanzil、TED演讲和维基百科转储中收集SATOS语言的所有可用平行语料和单语语料。
• 使用SentencePiece对数据进行预处理，子词词汇量为16K（多语言模型为32K），以确保所有模型间的一致性分词。
• 训练了四种模型类型：单语言对NMT（S-NMT）、使用回译的半监督NMT（SS-NMT）、利用预训练多语言模型的迁移学习（TL），以及统一的多语言NMT模型（M-NMT）。
• 在域内和多领域测试集上使用BLEU分数评估模型性能，英语到低资源语言（LRL）方向使用去分词的参考译文，低资源语言到英语方向使用分词后的参考译文。
• 使用OpenNMT框架实现基于Transformer的模型，并在所有实验中保持一致的超参数设置。
• 在M-NMT中，于每个源序列开头添加语言标识符，以支持多语言注意力机制，并实现所有SATOS-英语语言对的联合训练。

实验结果

研究问题

• RQ1 在低资源非洲语言对中，不同NMT范式（单语言、半监督、迁移学习、多语言）的表现如何？
• RQ2 与单语言或迁移学习方法相比，多语言建模在低资源设置下在多大程度上提升了翻译质量？
• RQ3 训练数据与测试数据之间的领域分布偏移如何影响不同语言对的模型泛化能力？
• RQ4 在单语数据与域内平行数据差异较大的情况下，回译在低资源设置下的局限性是什么？
• RQ5 多语言模型能否成为实现真正低资源语言对零样本或无监督翻译的可行路径？

主要发现

• 多语言NMT模型表现最佳，在十个翻译方向中的六个里，BLEU分数最高提升了+5分。
• 使用回译的半监督NMT效果参差不齐，有时因域内平行数据与域外单语数据之间存在领域不匹配而导致性能下降。
• 利用预训练多语言模型的迁移学习带来了稳定提升，尤其当父模型包含多样化语言表征时更为显著。
• SATOS语言表现出高度的形态多样性，表明仅靠子词分词可能并非最优方案，未来可探索其他输入建模方式以提升性能。
• 数据稀缺仍是主要瓶颈，平行语料和单语语料均有限，凸显了数据增强和样本高效学习策略的迫切需求。
• 本研究识别出领域偏移和零资源翻译是关键的开放性问题，尤其当单语数据稀疏或与目标领域差异较大时更为显著。