[论文解读] Neural Machine Translation for Low-Resourced Indian Languages

Himanshu Choudhary, Shivansh Rao+1 more|arXiv (Cornell University)|Apr 19, 2020

Natural Language Processing Techniques参考文献 23被引用 6

一句话总结

本论文提出了一种针对低资源印度语言（英语-泰米尔语和英语-马拉雅拉姆语）的新型神经机器翻译（NMT）模型，采用多头自注意力机制、预训练的字节对编码（BPE）和MultiBPE嵌入，以解决词汇表外（OOV）问题和词形复杂性问题。该模型在英语-马拉雅拉姆语翻译任务上达到25.36的BLEU分数，在英语-泰米尔语任务上达到9.67的BLEU分数，显著优于谷歌翻译（分别为9.40和5.71 BLEU），证明了其在词形丰富、低资源语言对上的优越性能和鲁棒性。

ABSTRACT

A large number of significant assets are available online in English, which is frequently translated into native languages to ease the information sharing among local people who are not much familiar with English. However, manual translation is a very tedious, costly, and time-taking process. To this end, machine translation is an effective approach to convert text to a different language without any human involvement. Neural machine translation (NMT) is one of the most proficient translation techniques amongst all existing machine translation systems. In this paper, we have applied NMT on two of the most morphological rich Indian languages, i.e. English-Tamil and English-Malayalam. We proposed a novel NMT model using Multihead self-attention along with pre-trained Byte-Pair-Encoded (BPE) and MultiBPE embeddings to develop an efficient translation system that overcomes the OOV (Out Of Vocabulary) problem for low resourced morphological rich Indian languages which do not have much translation available online. We also collected corpus from different sources, addressed the issues with these publicly available data and refined them for further uses. We used the BLEU score for evaluating our system performance. Experimental results and survey confirmed that our proposed translator (24.34 and 9.78 BLEU score) outperforms Google translator (9.40 and 5.94 BLEU score) respectively.

研究动机与目标

• 解决神经机器翻译中低资源、词形丰富的印度语言（如泰米尔语和马拉雅拉姆语）所面临的挑战。
• 通过使用预训练BPE和MultiBPE嵌入的子词分词方法，克服形态复杂语言中常见的词汇表外（OOV）问题。
• 通过将多头自注意力机制集成到轻量化NMT架构中，提升翻译质量。
• 创建并发布一个清洗过的、公开可用的平行语料库，涵盖英语-泰米尔语、英语-马拉雅拉姆语、英语-泰卢固语、英语-孟加拉语和英语-乌尔都语。
• 通过与谷歌翻译及母语者对比评估，验证模型在实际应用中的可用性与性能提升。

提出的方法

• 作者采用基于Transformer的NMT架构，结合多头自注意力机制，以捕捉长距离依赖关系并提升翻译质量。
• 使用预训练的多语言fastText嵌入表示源语言和目标语言，结合BPE和MultiBPE子词分词方法，以降低OOV率。
• 模型使用Adam优化器进行训练，配合dropout正则化（0.3），基础嵌入维度为300。
• 数据预处理包括过滤超过50个词元的句子、去除噪声翻译，以及删除重复或已翻译的内容。
• 最终模型采用6层编码器和解码器，配备8头多头注意力机制，并使用100,000词表的MultiBPE嵌入以实现最佳性能。
• 评估采用BLEU分数和母语泰米尔语者的人工评价，以验证翻译的流畅性与准确性。

实验结果

研究问题

• RQ1 多头自注意力机制与预训练的MultiBPE嵌入相结合，是否能显著降低低资源印度语言（如泰米尔语和马拉雅拉姆语）中的OOV问题？
• RQ2 与标准词级别嵌入相比，BPE和MultiBPE嵌入的整合在词形丰富的语言中如何提升翻译性能？
• RQ3 所提出的NMT模型在英语-印度语言对上，与谷歌翻译等商业系统相比，性能提升程度如何？
• RQ4 数据预处理在提升低资源语言翻译平行语料质量与可靠性方面发挥何种作用？
• RQ5 一个相对轻量化的NMT模型结合高效的子词分词方法，是否能达到甚至超越复杂、计算资源密集型架构的性能？

主要发现

• 所提出的NMT模型在英语-马拉雅拉姆语翻译任务上达到25.36的BLEU分数，显著优于谷歌翻译的9.40 BLEU分数。
• 在英语-泰米尔语任务上，模型达到9.67 BLEU，较谷歌翻译的5.71 BLEU提升3.96点，表明性能显著提升。
• 使用MultiBPE嵌入有效降低了OOV问题，并提升了对泰米尔语和马拉雅拉姆语中罕见及复杂形态形式的泛化能力。
• 人工评估显示，母语泰米尔语者在60%的情况下更偏好模型生成的翻译，而非谷歌翻译的结果。
• 结合多头注意力机制与MultiBPE嵌入的最终模型实现了最高性能，证明了注意力机制与子词级别预训练嵌入结合的有效性。
• 作者发布了清洗过的、公开可用的平行语料库，包含超过10万组句子对，涵盖英语-泰米尔语、英语-马拉雅拉姆语及其他印度语言对，为未来研究提供支持。