[论文解读] Congolese Swahili Machine Translation for Humanitarian Response

Alp Öktem, Eric DeLuca+3 more|arXiv (Cornell University)|Mar 19, 2021

Natural Language Processing Techniques参考文献 19被引用 5

一句话总结

本论文提出了一套用于刚果斯瓦希里语（SWC）与法语（FRA）之间双向神经机器翻译系统，利用一个经过筛选的25,302句平行语料库以及通过跨方言迁移和半监督学习生成的合成数据。该模型在BLEU分数上最高提升了3.5分，并在人道主义应用场景中展现出实际可用性，人工评估显示在刚果民主共和国（DRC）新冠疫情期间聊天机器人的语境下，75%的翻译能够准确传达原文的主要信息。

ABSTRACT

In this paper we describe our efforts to make a bidirectional Congolese Swahili (SWC) to French (FRA) neural machine translation system with the motivation of improving humanitarian translation workflows. For training, we created a 25,302-sentence general domain parallel corpus and combined it with publicly available data. Experimenting with low-resource methodologies like cross-dialect transfer and semi-supervised learning, we recorded improvements of up to 2.4 and 3.5 BLEU points in the SWC-FRA and FRA-SWC directions, respectively. We performed human evaluations to assess the usability of our models in a COVID-domain chatbot that operates in the Democratic Republic of Congo (DRC). Direct assessment in the SWC-FRA direction demonstrated an average quality ranking of 6.3 out of 10 with 75% of the target strings conveying the main message of the source text. For the FRA-SWC direction, our preliminary tests on post-editing assessment showed its potential usefulness for machine-assisted translation. We make our models, datasets containing up to 1 million sentences, our development pipeline, and a translator web-app available for public use.

研究动机与目标

• 为刚果斯瓦希里语（一种受法语和林加拉语显著影响的斯瓦希里语低资源方言）解决机器翻译资源匮乏的问题。
• 开发一套专为刚果民主共和国（DRC）人道主义沟通场景设计的双向神经机器翻译系统（SWC–FRA 与 FRA–SWC）。
• 研究低资源自然语言处理技术，如跨方言迁移学习与半监督学习，以在平行数据有限的情况下提升翻译质量。
• 评估模型在真实人道主义工作流中的实际可用性，特别是在基于DRC的新冠疫情期间聊天机器人中的应用。
• 开源模型、数据集（最多100万句）以及一个基于网页的翻译工具，以支持未来的研究和人道主义翻译工作。

提出的方法

• 筛选并清洗了一个包含25,302句通用领域的人工翻译刚果斯瓦希里语与法语配对语料库。
• 将清洗后的数据集与公开可用的平行数据（包括JW300语料库）结合，以提升训练数据的多样性与规模。
• 通过在SWC–FRA与FRA–SWC任务上微调预训练的多语言模型，应用跨方言迁移学习，以利用与其他斯瓦希里语方言的相似性。
• 采用半监督学习技术，从单语数据中生成合成平行语句，以扩大有效训练数据规模。
• 使用基于Transformer的架构训练神经机器翻译模型，并针对自动评估（BLEU）与人工评估指标进行优化。
• 开发并部署了一个基于网页的翻译应用，网址为 http://gamayun.translatorswb.org/，以支持实时推理与社区反馈。

实验结果

研究问题

• RQ1 当训练数据稀缺时，跨方言迁移学习是否能提升低资源刚果斯瓦希里语的机器翻译性能？
• RQ2 在平行数据有限的情况下，半监督学习在SWC–FRA与FRA–SWC方向上在多大程度上提升了翻译质量？
• RQ3 在真实世界的人道主义应用中，如基于DRC的新冠疫情期间聊天机器人，所生成的NMT模型在多大程度上能保留原文的主要信息？
• RQ4 在实际翻译工作流中，人工评估下模型的可用性如何，特别是在信息清晰度与完整性方面？
• RQ5 开源模型、数据集与开发流程是否能促进对资源匮乏语言的可持续NLP研究与人道主义技术发展？

主要发现

• 采用跨方言迁移学习与半监督学习后，SWC–FRA方向的BLEU分数最高提升了2.4分，FRA–SWC方向最高提升了3.5分。
• 对SWC–FRA模型的人工评估平均得分为10分制中的6.3分，其中75%的翻译成功传达了原文的主要信息。
• 在后期编辑评估中，FRA–SWC模型显示出在机器辅助翻译工作流中应用的潜力，表明其在人道主义翻译流程中的实用性。
• 最终评估基于71个真实用户提交的新冠疫情期间问题，质量评分的标准差为3.0，表明翻译质量存在中等但有意义的差异。
• 本研究成功构建并发布了包含25,302句干净人工翻译句子与928,065句合成平行句子的数据集，以及训练好的模型与公开的网页应用。
• 开发流程与测试集已公开发布于GitHub，支持研究的可复现性与未来工作的拓展。