[论文解读] Masakhane -- Machine Translation For Africa

Iroro Orife, Julia Kreutzer+23 more|arXiv (Cornell University)|Mar 13, 2020

Natural Language Processing Techniques参考文献 7被引用 24

一句话总结

Masakhane 是一个开源的泛非倡议，使研究人员能够使用免费的 Google Colab GPU 和共享的 Jupyter Notebook 框架，在非洲语言上训练神经机器翻译模型。截至 2020 年 2 月，该项目已有来自 17 个非洲国家的 144 名参与者，发布了 28 种非洲语言的 30 项翻译成果，显著提升了非洲 NLP 研究的可及性和可复现性。

ABSTRACT

Africa has over 2000 languages. Despite this, African languages account for a small portion of available resources and publications in Natural Language Processing (NLP). This is due to multiple factors, including: a lack of focus from government and funding, discoverability, a lack of community, sheer language complexity, difficulty in reproducing papers and no benchmarks to compare techniques. To begin to address the identified problems, MASAKHANE, an open-source, continent-wide, distributed, online research effort for machine translation for African languages, was founded. In this paper, we discuss our methodology for building the community and spurring research from the African continent, as well as outline the success of the community in terms of addressing the identified problems affecting African NLP.

研究动机与目标

• 建立一个可持续、包容的非洲 NLP 研究社区，尤其关注代表性不足的非洲语言。
• 创建可访问的开源工具和数据集，降低资源有限或学术训练不足的研究人员的入门门槛。
• 通过在 GitHub 上公开发布数据、代码和结果，提高非洲语言 NLP 研究的可发现性和可复现性。
• 通过 Slack 和在线会议实现远程、分布式参与，促进跨越地理和机构界限的合作。
• 将 NLP 研究的范围从机器翻译扩展到迁移学习、自监督学习和更广泛的 NLP 任务。

提出的方法

• 该项目使用托管在 Google Colab 上的 Jupyter Notebook，通过单个免费 GPU 使参与者能够在无需昂贵硬件的情况下训练神经机器翻译（NMT）模型。
• 它集成了 JW300 多语言平行语料库，提供英语到 101 种非洲语言的平行数据，支持在多种非洲语言上进行训练。
• 参与者使用 Joey NMT 框架，该框架对初学者友好，具备完整的训练、评估和配置流程文档。
• 社区维护一个 GitHub 代码仓库，用于发布和版本控制数据、代码和模型结果，提升可复现性和可发现性。
• 从 JW300 中提取包含英语源语的全球测试集，并从训练数据中排除，以防止未来跨语言迁移学习实验中的数据泄露。
• 每周在线会议和活跃的 Slack 工作区促进实时协作、导师指导和知识共享，支持地理上分散的参与者。

实验结果

研究问题

• RQ1 如何有效建立一个去中心化的开源研究社区，以支持资源匮乏的非洲语言的 NLP 研究？
• RQ2 哪些技术和社交策略可以降低撒哈拉以南非洲研究人员在资金、教育或基础设施有限情况下的入门门槛？
• RQ3 在无需本地高性能计算资源的情况下，免费的云计算资源（如 Google Colab）在多大程度上能够实现有意义的 NLP 模型训练？
• RQ4 如何通过公开发布数据、代码和结果，提高非洲语言 NLP 研究的可复现性和可发现性？
• RQ5 社区驱动的倡议在推动主流研究中系统性代表性不足的语言 NLP 发展方面，能发挥什么作用？

主要发现

• 截至 2020 年 2 月 14 日，Masakhane 社区已涵盖来自 17 个非洲国家和两个非非洲国家（美国和德国）的 144 名参与者，展现了广泛的地理和人口多样性。
• 该项目已成功发布 28 种非洲语言的 30 项翻译成果，由 25 位不同贡献者提供，展示了活跃的社区参与。
• 使用 Google Colab 的单个免费 GPU 使参与者能够在无需个人拥有昂贵计算资源的情况下训练 NMT 模型。
• JW300 数据集的整合为 101 种非洲语言的训练提供了基础，显著扩展了可用平行语料库的范围。
• 通过在 GitHub 上公开发布所有结果，项目实现了数据和模型的可发现性提升，支持可复现性和未来基准测试。
• 该倡议通过每周会议和专用的 Slack 工作区，成功促进了跨机构和地理边界的协作，缓解了非洲研究人员常面临的孤立感。