[论文解读] Domain-specific MT for Low-resource Languages: The case of Bambara-French

Allahsera Auguste Tapo, Michael Leventhal+3 more|arXiv (Cornell University)|Mar 31, 2021

Natural Language Processing Techniques参考文献 15被引用 4

一句话总结

本论文提出了首个针对巴马拉语-法语机器翻译的领域专用并行语料库，聚焦于医学文本，并评估了在该数据上训练的神经机器翻译模型。尽管数据量有限，但将领域专用的医学文本与通用词典数据结合使用，其性能优于单独使用任一数据集，表明数据多样性可提升低资源翻译模型的性能。

ABSTRACT

Translating to and from low-resource languages is a challenge for machine translation (MT) systems due to a lack of parallel data. In this paper we address the issue of domain-specific MT for Bambara, an under-resourced Mande language spoken in Mali. We present the first domain-specific parallel dataset for MT of Bambara into and from French. We discuss challenges in working with small quantities of domain-specific data for a low-resource language and we present the results of machine learning experiments on this data.

研究动机与目标

• 为解决马里境内使用的曼德语系语言巴马拉语的低资源机器翻译挑战，该语言的并行训练数据极为有限。
• 创建并发布首个聚焦于农村医疗内容的巴马拉语-法语领域专用并行语料库。
• 评估在该新语料库上训练的神经机器翻译模型，并与在通用词典数据上训练的模型进行性能对比。
• 研究数据多样性——特别是结合通用数据与领域专用数据——对低资源环境下模型性能的影响。
• 为使用小规模、领域专用数据集训练低资源语言的神经机器翻译系统，建立基准并总结最佳实践。

提出的方法

• 构建了一个三语（巴马拉语、法语、英语）医学健康指南语料库，内容基于Dokotoro项目授权内容。
• 对巴马拉语与法语文本进行段落级对齐，并通过专家翻译人员验证句子级对齐，以确保语义等价性。
• 采用字节对编码（BPE）方法，设置1000个子词单元，并引入BPE丢弃（BPE dropout）以应对巴马拉语缺乏标准分词方式导致的OOV（未登录词）问题。
• 使用Joey NMT框架训练基于Transformer的神经机器翻译模型，模型结构为六层，模型尺寸1024，隐层尺寸256，每层注意力头数为4。
• 采用ADAM优化器，学习率恒定为0.0004，Dropout正则化率设为0.1，标签平滑（label smoothing）为0.2。
• 在保留的测试集上使用SacreBLEU和ChrF分数评估模型性能，推理阶段采用束搜索（beam width为5）。

实验结果

研究问题

• RQ1 在巴马拉语-法语翻译任务中，使用领域专用医学文本训练神经机器翻译模型，与使用通用词典数据训练相比，性能表现如何？
• RQ2 在低资源环境下，结合通用数据与领域专用数据对模型性能有何影响？
• RQ3 能否有效结合不同语言风格（如简单与复杂医学语言）的数据以提升翻译质量？
• RQ4 在低资源语言的复杂领域内容中，标准指标如BLEU和ChrF在多大程度上能反映翻译质量？
• RQ5 对齐质量与数据整理过程如何影响低资源神经机器翻译系统的最终性能？

主要发现

• 医学领域语料库的BLEU与ChrF得分显著低于词典语料库，表明复杂医学内容的翻译更具挑战性。
• 在词典与医学数据联合训练的模型，其性能与仅在词典数据上训练的模型相当，表明更丰富的医学数据并未降低模型性能。
• 结合通用数据与领域专用数据的模型性能优于单独使用任一数据集的模型，表明数据多样性可增强低资源模型的性能。
• 仅在医学数据上训练的模型在词典测试集上表现较差，反之亦然，凸显了性能的领域特异性。
• 结果表明，BLEU与ChrF指标在复杂、领域专用语境下可能具有局限性，尤其在小样本数据集上。