[论文解读] Benchmarking Neural Machine Translation for Southern African Languages

Jade Abbott, Laura Martinus|arXiv (Cornell University)|Jun 17, 2019

Natural Language Processing Techniques被引用 11

一句话总结

本文通过在公开数据集上训练和评估神经机器翻译（NMT）模型，首次为南部非洲语言提供了公开可用的基准。该研究建立了排行榜，以提高可复现性，并加速低资源非洲语言翻译的研究。

ABSTRACT

Unlike major Western languages, most African languages are very low-resourced. Furthermore, the resources that do exist are often scattered and difficult to obtain and discover. As a result, the data and code for existing research has rarely been shared, meaning researchers struggle to reproduce reported results, and almost no publicly available benchmarks or leaderboards for African machine translation models exist. To start to address these problems, we trained neural machine translation models for a subset of Southern African languages on publicly-available datasets. We provide the code for training the models and evaluate the models on a newly released evaluation set, with the aim of starting a leaderboard for Southern African languages and spur future research in the field.

研究动机与目标

• 解决南部非洲语言神经机器翻译缺乏公开基准和排行榜的问题。
• 通过发布NMT模型的训练代码和评估代码，提高可复现性。
• 在公开可用的南部非洲语言数据集上训练和评估NMT模型，以建立基线性能。
• 通过创建低资源非洲语言的共享评估框架，促进未来研究。
• 推动数据和模型共享，以应对非洲自然语言处理中资源分散和稀缺的问题。

提出的方法

• 在部分南部非洲语言的公开可用数据集上训练神经机器翻译模型。
• 采用带有注意力机制的标准序列到序列NMT架构。
• 在新发布的标准化评估集上评估模型，以确保一致性。
• 发布训练和评估代码，以支持可复现性及社区贡献。
• 建立排行榜以跟踪模型性能并鼓励基准测试。
• 聚焦于南部非洲语言典型的低资源环境，即平行语料库有限。

实验结果

研究问题

• RQ1 在使用公开数据的情况下，神经机器翻译模型在低资源南部非洲语言上能达到何种性能？
• RQ2 在南部非洲语言家族的不同语言对中，模型性能如何变化？
• RQ3 公开共享的代码和评估集在多大程度上能提高非洲自然语言处理研究的可复现性？
• RQ4 标准化基准和排行榜能否激发更多关于低资源非洲语言翻译的研究？
• RQ5 在数据有限的情况下，训练和评估南部非洲语言NMT模型面临哪些关键挑战？

主要发现

• 作者成功使用公开数据在代表性南部非洲语言对上训练并评估了NMT模型。
• 创建并使用了标准化评估集，以确保模型间性能比较的一致性。
• 训练和评估代码的发布支持了可复现性，并促进了社区对基准的扩展。
• 本研究建立了首个针对南部非洲语言翻译的公开排行榜，推动了未来研究。
• 该工作填补了低资源非洲语言在数据可用性、代码共享和基准测试方面的关键空白。
• 该举措为非洲自然语言处理的可扩展、社区驱动的进展奠定了基础。