[论文解读] Towards Neural Machine Translation for Edoid Languages

Iroro Orife|arXiv (Cornell University)|Mar 24, 2020

Natural Language Processing Techniques参考文献 8被引用 6

一句话总结

本论文首次为四种埃多语言——Ẹ̀dó、Ésán、Urhobo 和 Isoko——提出了基于 Transformer 架构和 JW300 平行语料库的神经机器翻译（NMT）模型。BPE 分词在 Ẹ̀dó 和 Ésán 上显著提升了 BLEU 分数（最高提升达 37%），而 Isoko 则采用词级别分词表现更优，其测试集最高 BLEU 分数达到 38.91。

ABSTRACT

Many Nigerian languages have relinquished their previous prestige and purpose in modern society to English and Nigerian Pidgin. For the millions of L1 speakers of indigenous languages, there are inequalities that manifest themselves as unequal access to information, communications, health care, security as well as attenuated participation in political and civic life. To minimize exclusion and promote socio-linguistic and economic empowerment, this work explores the feasibility of Neural Machine Translation (NMT) for the Edoid language family of Southern Nigeria. Using the new JW300 public dataset, we trained and evaluated baseline translation models for four widely spoken languages in this group: Èdó, Ésán, Urhobo and Isoko. Trained models, code and datasets have been open-sourced to advance future research efforts on Edoid language technology.

研究动机与目标

• 为尼日利亚的资源匮乏的埃多语言开发并评估基线神经机器翻译（NMT）模型。
• 通过为少数族群土著语言使用者提供技术接入与赋能，缓解语言不平等。
• 探究不同分词策略（BPE 与词级别）对低资源语言翻译性能的影响。
• 通过机器翻译促进语言记录与保存，尤其针对具有口述传统的语言。
• 为未来开发非洲语言的语音到语音及多语言自然语言处理工具奠定基础。

提出的方法

• 使用 JoeyNMT 工具包在 JW300 平行语料库上训练基于 Transformer 的 NMT 模型。
• 基于低资源非洲语言的先前研究，采用包含 4,000 个子词单元的字节对编码（BPE）子词分词。
• 通过消融研究，在所有四种埃多语言上对比 BPE 与词级别分词的效果。
• 利用 Google Colab 的免费 GPU 和 CPU 资源进行训练，每种语言和分词类型均进行多次重新训练迭代。
• 对训练数据进行预处理，移除圣经注释（如书名、章、节编号）以提升模型泛化能力。
• 使用开发集和测试集的 BLEU 分数评估模型性能，并由母语（L1）使用者进行定性验证。

实验结果

研究问题

• RQ1 不同的分词策略（BPE 与词级别）如何影响低资源埃多语言的 NMT 性能？
• RQ2 使用 JW300 平行语料库，Ẹ̀dó、Ésán、Urhobo 和 Isoko 的基线翻译质量如何？
• RQ3 数据质量（尤其是是否存在如节编号等元数据）在多大程度上影响模型性能？
• RQ4 在宗教文本上训练的 NMT 模型能否泛化到这些语言的更广泛语言使用场景？
• RQ5 为使 Ẹ̀dó 和 Ésán 的性能达到 Isoko 当前水平，需要多少额外的干净文本？

主要发现

• 与词级别分词相比，BPE 分词使 Ẹ̀dó 的 BLEU 分数提升了 37%，Urhobo 提升了 32%。
• 对于 Isoko，词级别分词优于 BPE，其测试集 BLEU 分数达到 38.91，为所有语言中的最高分。
• Ẹ̀dó 和 Ésán 的 BLEU 分数较低（测试集分别为 12.49 和 6.25），但仍表现出可测量的翻译能力。
• Isoko 模型在开发集上取得 38.05 的 BLEU 分数，在测试集上达到 38.91，表明其在低资源语言中表现强劲。
• 错误分析显示，训练数据中包含的圣经元数据（如章、节编号）显著阻碍了模型的泛化能力。
• 本研究提供了性能基准和数据需求估算，表明 Ẹ̀dó 和 Ésán 需要更多干净文本才能达到 Isoko 当前的性能水平。