[论文解读] Improving English to Sinhala Neural Machine Translation using Part-of-Speech Tag

Ravinga Perera, Thilakshi Fonseka+2 more|arXiv (Cornell University)|Feb 17, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文通过将词性（POS）标签整合到Transformer模型的输入嵌入和位置编码中，提出增强英语到僧伽罗语神经机器翻译（NMT）的方法。表现最佳的模型将POS嵌入与子词嵌入拼接，BLEU得分达到30.84，较基线模型高出0.92分，表明在低资源环境下，语言学特征可有效提升翻译质量。

ABSTRACT

The performance of Neural Machine Translation (NMT) depends significantly on the size of the available parallel corpus. Due to this fact, low resource language pairs demonstrate low translation performance compared to high resource language pairs. The translation quality further degrades when NMT is performed for morphologically rich languages. Even though the web contains a large amount of information, most people in Sri Lanka are unable to read and understand English properly. Therefore, there is a huge requirement of translating English content to local languages to share information among locals. Sinhala language is the primary language in Sri Lanka and building an NMT system that can produce quality English to Sinhala translations is difficult due to the syntactic divergence between these two languages under low resource constraints. Thus, in this research, we explore effective methods of incorporating Part of Speech (POS) tags to the Transformer input embedding and positional encoding to further enhance the performance of the baseline English to Sinhala neural machine translation model.

研究动机与目标

• 为解决由于句法差异和并行语料库有限导致的英语到僧伽罗语神经机器翻译性能低下问题。
• 探究在低资源语言对中引入词性（POS）标注是否能提升翻译质量。
• 评估两种不同的整合方法：将POS嵌入融入输入表示，以及将POS信息融入位置编码。
• 利用政府文件作为并行语料库，构建特定领域的NMT系统。
• 为像僧伽罗语这类低资源、词形丰富的语言建立POS增强型NMT的基准。

提出的方法

• 以Transformer架构作为基础NMT模型，通过将子词嵌入与POS嵌入拼接，扩展输入嵌入。
• 使用Stanford POS标注器为英语的所有训练集、验证集和测试集分配词性标签。
• 评估两种整合策略：(1) 将POS嵌入与输入嵌入结合；(2) 通过POS信息修改位置编码。
• 对所有数据集应用字节对编码（BPE）以处理未登录词和罕见词。
• 保持超参数与基线模型一致，以隔离POS整合的影响。
• 使用Adam优化器进行训练，学习率采用标准值，解码采用束搜索（束宽=5，长度惩罚=1.2）。

实验结果

研究问题

• RQ1 将词性（POS）标签整合到Transformer NMT模型的输入嵌入中，能否提升低资源英语到僧伽罗语语言对的翻译质量？
• RQ2 在词形丰富、低资源的语言中，将POS信息融入位置编码是否能提升或降低NMT性能？
• RQ3 与现有在低资源NMT系统中整合语言学特征的方法相比，POS整合在BLEU得分提升方面表现如何？
• RQ4 在Transformer框架内，POS整合带来的性能增益是否在不同整合策略下均具鲁棒性？
• RQ5 来自政府文件的特定领域并行语料库能否支持有效的POS增强型NMT训练，用于僧伽罗语？

主要发现

• 将POS标签整合到输入嵌入的模型达到30.84的BLEU得分，较基线模型的29.92分高出0.92分。
• 将POS信息整合到位置编码的模型表现不如基线，BLEU得分为28.75，表明此类修改破坏了原始的位置信息。
• 在低资源NMT中，POS整合带来的性能提升具有显著意义，因为此类场景下性能增益通常微乎其微。
• 表现最佳的模型在测试集的定性示例中生成了更准确、更符合上下文的僧伽罗语翻译。
• 词性标注有助于消除词义歧义（例如，“book”作为名词或动词），从而提升目标语言中的词形对齐效果。
• 结果证实，即使在并行数据有限的情况下，POS标签等语言学特征也能有效提升NMT性能。