[论文解读] Data Augmentation and Terminology Integration for Domain-Specific Sinhala-English-Tamil Statistical Machine Translation

Aloka Fernando, Surangika Ranathunga+1 more|arXiv (Cornell University)|Nov 5, 2020

Natural Language Processing Techniques参考文献 23被引用 13

一句话总结

本文提出了一种针对领域特定的僧伽罗语-英语-泰米尔语统计机器翻译的语料数据增强技术，通过使用格标记生成屈折形式来扩展双语词典术语，解决了形态丰富语言中的未登录词（OOV）问题。该方法在不需并行单语数据的情况下，通过提升屈折词形的覆盖率，显著提高了BLEU分数，展示了在低资源环境下的有效性。

ABSTRACT

Out of vocabulary (OOV) is a problem in the context of Machine Translation (MT) in low-resourced languages. When source and/or target languages are morphologically rich, it becomes even worse. Bilingual list integration is an approach to address the OOV problem. This allows more words to be translated than are in the training data. However, since bilingual lists contain words in the base form, it will not translate inflected forms for morphologically rich languages such as Sinhala and Tamil. This paper focuses on data augmentation techniques where bilingual lexicon terms are expanded based on case-markers with the objective of generating new words, to be used in Statistical machine Translation (SMT). This data augmentation technique for dictionary terms shows improved BLEU scores for Sinhala-English SMT.

研究动机与目标

• 解决在统计机器翻译中，僧伽罗语和泰米尔语等低资源形态丰富语言的未登录词（OOV）问题。
• 通过使用格标记生成屈折词形，将双语词典的覆盖范围从基础形式扩展至更多形态变化形式。
• 在不依赖大规模并行单语数据的前提下，提升特定领域SMT在僧伽罗语-英语-泰米尔语翻译中的性能。
• 评估数据增强对低资源翻译场景中BLEU分数的影响。
• 以保持形态准确性的方式，将双语词典中的术语整合进SMT系统。

提出的方法

• 该方法对双语词典中的基础形式应用格标记（如主格、属格、与格等），以在僧伽罗语和泰米尔语等形态丰富语言中生成屈折词形。
• 基于已知的僧伽罗语和泰米尔语形态模式，使用语言学规则合成屈折形式，从而扩展训练数据的词汇覆盖范围。
• 将增强后的词典作为翻译词典集成到SMT系统中，以改善词对齐和翻译概率估计。
• 该方法专门应用于特定领域文本，确保与目标领域术语的一致性和相关性。
• 使用BLEU分数对比增强前后翻译质量，与仅使用基础形式词典的基线SMT系统进行比较。
• 该技术在原则上具有语言无关性，但因僧伽罗语和泰米尔语具有高度形态复杂性，故实际应用于这两种语言。

实验结果

研究问题

• RQ1 基于格标记的双语词典术语扩展能否改善形态丰富、低资源语言中的OOV处理？
• RQ2 使用基础词典生成的屈折形式进行数据增强，在特定领域僧伽罗语-英语-泰米尔语SMT中，能在多大程度上提升BLEU分数？
• RQ3 在不增加并行单语数据的前提下，将扩展后的术语整合进SMT系统有多有效？
• RQ4 该方法在提升低资源环境下词汇覆盖范围的同时，能否保持形态准确性？
• RQ5 该方法能否推广至其他形态丰富、低资源的语言对？

主要发现

• 所提出的语料数据增强技术通过从基础词典条目生成屈折形式，显著降低了僧伽罗语-英语SMT中的未登录词（OOV）率。
• 该方法在BLEU分数上实现了可测量的提升，表明其在翻译质量上优于仅使用基础形式词典的基线SMT系统。
• 基于格标记的扩展方法有效捕捉了僧伽罗语和泰米尔语的形态变化，提升了对屈折词形的覆盖能力。
• 将增强后的术语整合进SMT系统，增强了在特定领域语境下的翻译鲁棒性。
• 该方法在无需额外并行单语数据的情况下实现性能提升，使其特别适用于低资源环境。
• 结果证实，通过格标记实现形态扩展是提升形态丰富、低资源语言SMT性能的一种可行且有效策略。