[论文解读] Igbo-English Machine Translation: An Evaluation Benchmark

Ignatius Ezeani, Paul Rayson+3 more|arXiv (Cornell University)|Apr 1, 2020

Natural Language Processing Techniques参考文献 6被引用 14

一句话总结

本文提出了一项全新创建的、高质量的人工标注基准数据集，用于伊博语-英语机器翻译，包含11,584对平行语句和超过38万条单语伊博语句子。该数据集通过系统化的数据收集、母语者人工翻译以及严格的质控流程构建而成，旨在支持对低资源非洲语言的自然语言处理模型进行可靠评估与训练。

ABSTRACT

Although researchers and practitioners are pushing the boundaries and enhancing the capacities of NLP tools and methods, works on African languages are lagging. A lot of focus on well resourced languages such as English, Japanese, German, French, Russian, Mandarin Chinese etc. Over 97% of the world's 7000 languages, including African languages, are low resourced for NLP i.e. they have little or no data, tools, and techniques for NLP research. For instance, only 5 out of 2965, 0.19% authors of full text papers in the ACL Anthology extracted from the 5 major conferences in 2018 ACL, NAACL, EMNLP, COLING and CoNLL, are affiliated to African institutions. In this work, we discuss our effort toward building a standard machine translation benchmark dataset for Igbo, one of the 3 major Nigerian languages. Igbo is spoken by more than 50 million people globally with over 50% of the speakers are in southeastern Nigeria. Igbo is low resourced although there have been some efforts toward developing IgboNLP such as part of speech tagging and diacritic restoration

研究动机与目标

• 为解决伊博语-英语机器翻译这一低资源非洲语言所面临的严重缺乏高质量、标准化评估数据的问题。
• 创建一个经过人工验证、内容现代且领域相关（基于新闻）的伊博语-英语和英语-伊博语双向语句对基准数据集。
• 从新闻、广播、文学和宗教文本等多种来源收集并清洗大规模单语伊博语语料（目标：10万条语句），用于模型训练。
• 通过知识共享许可公开发布该数据集，以支持伊博语自然语言处理领域的可复现研究与模型开发。
• 为未来在低资源非洲语言上对最先进机器翻译模型的对比研究奠定基础。

提出的方法

• 从多种来源收集原始的平行语句和单语伊博语、英语文本，包括BBC伊博语、地方报纸、政府文件、伊博语文学以及JW.org语料库。
• 通过标准化、变音符号恢复和拼写校正对所有数据进行预处理，以确保语言一致性和质量。
• 由五名母语伊博语翻译者以约250条语句为单位，分块执行双向翻译（英语→伊博语和伊博语→英语）。
• 通过翻译者之间绝对一致性的标准，进行人工后期编辑和质量检查，以确保翻译的准确性和自然性。
• 优先选择当代、非宗教性和新闻领域的内容，以提高数据集的泛化能力并减少文体偏差。
• 持续进行单语伊博语数据的收集与清洗，目前已从BBC伊博语、伊博语广播和宗教出版物（如《守望》、《 awake!》）等来源处理超过38万条语句。

实验结果

研究问题

• RQ1 如何系统性地为像伊博语这样的低资源非洲语言构建一个高质量、人工标注的基准数据集？
• RQ2 使用多样化、非宗教性且基于当代新闻领域的内容，对伊博语-英语机器翻译评估的可靠性与泛化能力有何影响？
• RQ3 在低资源环境下，人工翻译与标注者间一致性程序在多大程度上能提升平行语句对的质量？
• RQ4 如何有效清洗和整理来自多种来源的单语伊博语数据，以支持强大的神经机器翻译训练？
• RQ5 公开共享、标准化的数据集在推动代表性不足的非洲语言自然语言处理研究方面发挥着何种作用？

主要发现

• 该项目成功创建并发布了包含11,584对平行语句（5,836条伊博语→英语，5,748条英语→伊博语）的基准数据集，并设有明确的开发集、测试集和隐藏测试集划分。
• 从BBC伊博语、伊博语广播和宗教出版物等多样化来源收集并预处理了超过38万条单语伊博语句子，重点聚焦于当代且非神学性内容。
• 该数据集通过一个严谨的人工翻译与校对流程构建，涉及五名母语伊博语翻译者和三名专家评审（包括一名语言学家）。
• 该数据集通过GitHub仓库以知识共享许可公开发布，确保自然语言处理研究社区的可访问性与可复现性。
• 该项目已为未来在伊博语-英语翻译任务上的模型训练、评估以及最先进机器翻译系统对比分析奠定基础。
• 作者报告称，正持续扩展数据集规模并提升翻译质量，计划在项目推进过程中陆续发表相关成果。