[论文解读] Evaluating Multiway Multilingual NMT in the Turkic Languages

Jamshidbek Mirzakhalov, A.J.G. Babu+12 more|arXiv (Cornell University)|Sep 13, 2021

Natural Language Processing Techniques参考文献 49被引用 8

一句话总结

本文评估了一个在大规模改进版平行语料库上训练的多向多语言神经机器翻译（MNMT）模型，该语料库涵盖22种突厥语，包括低资源语言。MNMT模型在域外测试集上优于双语基线模型，并通过微调实现了显著性能提升，展示了在资源有限的关联突厥语之间强大的迁移学习能力。

ABSTRACT

Despite the increasing number of large and comprehensive machine translation (MT) systems, evaluation of these methods in various languages has been restrained by the lack of high-quality parallel corpora as well as engagement with the people that speak these languages. In this study, we present an evaluation of state-of-the-art approaches to training and evaluating MT systems in 22 languages from the Turkic language family, most of which being extremely under-explored. First, we adopt the TIL Corpus with a few key improvements to the training and the evaluation sets. Then, we train 26 bilingual baselines as well as a multi-way neural MT (MNMT) model using the corpus and perform an extensive analysis using automatic metrics as well as human evaluations. We find that the MNMT model outperforms almost all bilingual baselines in the out-of-domain test sets and finetuning the model on a downstream task of a single pair also results in a huge performance boost in both low- and high-resource scenarios. Our attentive analysis of evaluation criteria for MT models in Turkic languages also points to the necessity for further research in this direction. We release the corpus splits, test sets as well as models to the public.

研究动机与目标

• 解决低资源突厥语缺乏高质量平行语料库和机器翻译系统的问题。
• 评估多向多语言NMT（MNMT）模型在22种突厥语（包括低资源语言和此前未探索的语言）上的性能。
• 分析自动评估与人工评估指标在突厥语翻译背景下的优缺点。
• 通过在特定语料对上微调，研究MNMT模型的迁移学习能力。
• 发布公开可用的改进版TIL语料库及训练好的模型，以支持未来突厥语NLP研究。

提出的方法

• 对TIL语料库进行采纳与增强，为22种突厥语提供改进的训练与评估划分。
• 为语料库中每对语言训练26个双语神经机器翻译（NMT）基线模型。
• 构建一个可实现22种突厥语之间互译的单一多向多语言NMT（MNMT）模型。
• 在域内与域外测试集上，通过自动指标（如BLEU）和人工评估进行广泛评估。
• 对MNMT模型在特定语料对上进行微调，以评估迁移学习带来的收益。
• 对人工评估结果进行注意力驱动的错误分析，以识别突厥语中反复出现的翻译错误及评估指标的适用性。

实验结果

研究问题

• RQ1 多向多语言NMT模型在多样化突厥语上的翻译质量与双语基线相比如何？
• RQ2 在单一语料对上微调MNMT模型是否能提升低资源与高资源语料对的性能？
• RQ3 自动评估指标（如BLEU）在评估突厥语翻译质量方面有多有效，特别是在低资源环境下？
• RQ4 MNMT模型在突厥语系中的翻译中最常见的错误类型是什么？
• RQ5 单一多语言模型在多大程度上能为低资源突厥语实现零样本翻译？

主要发现

• MNMT模型在域外测试集上几乎全面优于双语基线模型，表明其在多样化语料对间具有强大的泛化能力。
• 在单一语料对上对MNMT模型进行微调，在低资源与高资源设置下均带来了显著的性能提升。
• 人工评估揭示了形态与词序方面的系统性错误，尤其在黏着型突厥语中更为明显，凸显了处理复杂屈折结构的挑战。
• 在低资源环境下，BLEU等自动指标与人工判断的相关性有限，表明需要更定制化的评估标准。
• MNMT模型展现出强大的零样本迁移能力，尤其在平行数据极少的语言（如卡拉卡尔帕克语、哈卡斯语和图瓦语）中表现突出。
• 改进后的TIL语料库及发布的模型为未来低资源与多语言NLP研究在突厥语领域提供了宝贵基础。