[论文解读] An Exploration of Data Augmentation Techniques for Improving English to Tigrinya Translation

Lidia Kidane, Sachin Kumar+1 more|arXiv (Cornell University)|Mar 31, 2021

Natural Language Processing Techniques参考文献 22被引用 5

一句话总结

本文提出一种基于回溯翻译的新型方法，利用阿姆哈拉语——一种资源更丰富、语法上相关的语言——生成高质量的合成英-提格里尼亚平行语料。通过利用无监督模型进行提格里尼亚语到阿姆哈拉语及阿姆哈拉语到英语的翻译，该方法在基线模型基础上实现了+7.1 BLEU的性能提升，证明了在低资源神经机器翻译设置中，通过相关语言进行回溯翻译能显著提升性能。

ABSTRACT

It has been shown that the performance of neural machine translation (NMT) drops starkly in low-resource conditions, often requiring large amounts of auxiliary data to achieve competitive results. An effective method of generating auxiliary data is back-translation of target language sentences. In this work, we present a case study of Tigrinya where we investigate several back-translation methods to generate synthetic source sentences. We find that in low-resource conditions, back-translation by pivoting through a higher-resource language related to the target language proves most effective resulting in substantial improvements over baselines.

研究动机与目标

• 为解决提格里尼亚语这一低资源闪米特语系语言在平行语料有限情况下的低资源神经机器翻译挑战。
• 探究利用相关语言的单语数据是否能提升数据增强中合成数据的质量。
• 评估回溯翻译策略（特别是通过阿姆哈拉语进行回溯）在低资源英-提格里尼亚语翻译中的有效性。
• 确定在平行语料稀缺时，相关语言对的无监督模型是否能超越有监督替代方案。

提出的方法

• 使用单语提格里尼亚语和阿姆哈拉语语料库，通过无监督机器翻译技术训练提格里尼亚语到阿姆哈拉语的模型。
• 使用更大的有监督平行语料库训练阿姆哈拉语到英语的模型，以确保高质量翻译。
• 将两个模型按顺序使用：将单语提格里尼亚语句子先翻译为阿姆哈拉语，再翻译为英语，从而生成合成的英-提格里尼亚语平行句子。
• 将合成数据与有限的真实英-提格里尼亚语平行数据结合，微调最终的英-提格里尼亚语翻译模型。
• 在多种回溯翻译策略之间进行性能比较：直接法（提格里尼亚语→英语）、间接法（阿姆哈拉语→英语）以及基于回溯的策略（提格里尼亚语→阿姆哈拉语→英语）。
• 使用BLEU分数评估不同数据增强策略下的翻译质量，包括回溯模型的有监督与无监督变体。

实验结果

研究问题

• RQ1 通过资源更丰富、语法相关的语言（如阿姆哈拉语）进行回溯，是否能提升低资源英-提格里尼亚语翻译中合成平行数据的质量？
• RQ2 与有监督训练相比，无监督训练提格里尼亚语到阿姆哈拉语模型在下游翻译性能方面表现如何？
• RQ3 尽管使用了单语数据，为何直接从提格里尼亚语到英语的回溯翻译性能表现不佳？
• RQ4 提格里尼亚语与阿姆哈拉语之间的共享词汇项在基于回溯的方法中起到了多大作用？
• RQ5 基于回溯的方法在哪些方面存在失败模式，特别是针对数字和领域不匹配的问题？

主要发现

• BT-Pivot-Unsup方法（使用无监督提格里尼亚语→阿姆哈拉语模型和有监督阿姆哈拉语→英语模型）达到最高的BLEU分数15.52，较最佳基线模型提升+7.12 BLEU。
• BT-Pivot-Sup方法的BLEU得分为11.54，表明对提格里尼亚语→阿姆哈拉语模型进行有监督训练也能带来显著性能提升。
• 直接回溯翻译（BT-Direct）使基线性能提升+2.3 BLEU，但受限于合成翻译质量低下，原因在于平行语料稀缺。
• 使用阿姆哈拉语→英语翻译进行间接回溯翻译的BLEU得分为6.2，表明其效果不如通过阿姆哈拉语进行回溯。
• 该方法在共享词汇项（如专有名词和介词）上表现尤为出色，这些词汇因提格里尼亚语与阿姆哈拉语之间存在高度词汇重叠，得以在回溯链中保持不变。
• 失败案例多出现在数字上，常出现幻觉或误译，可能源于回溯生成数据中的噪声以及真实语料（宗教文本）与合成语料（政府公告）之间的领域不匹配。