[论文解读] First Result on Arabic Neural Machine Translation

Amjad Almahairi, Kyunghyun Cho+2 more|arXiv (Cornell University)|Jun 8, 2016

Natural Language Processing Techniques参考文献 25被引用 29

一句话总结

本论文首次对阿拉伯语-英语翻译的神经机器翻译（NMT）进行了全面评估，将其与短语基于系统进行比较。通过使用注意力机制的NMT模型，结合子词BPE分词和形态感知预处理（包括标准化和分词），作者发现，在领域内数据上，NMT的表现与短语基于系统相当；而在领域外测试集上，NMT显著优于后者，展现出更强的泛化能力和对领域分布偏移的鲁棒性。

ABSTRACT

Neural machine translation has become a major alternative to widely used phrase-based statistical machine translation. We notice however that much of research on neural machine translation has focused on European languages despite its language agnostic nature. In this paper, we apply neural machine translation to the task of Arabic translation (ArEn) and compare it against a standard phrase-based translation system. We run extensive comparison using various configurations in preprocessing Arabic script and show that the phrase-based and neural translation systems perform comparably to each other and that proper preprocessing of Arabic script has a similar effect on both of the systems. We however observe that the neural machine translation significantly outperform the phrase-based system on an out-of-domain test set, making it attractive for real-world deployment.

研究动机与目标

• 评估神经机器翻译（NMT）在阿拉伯语-英语翻译这一低资源、形态丰富的语言对上的表现。
• 探究为短语基于系统开发的预处理技术（如形态感知分词和拼写标准化）是否同样适用于NMT。
• 比较NMT与短语基于系统在领域分布偏移下的鲁棒性，特别是在领域外测试集上的表现。
• 通过评估阿拉伯语→英语和英语→阿拉伯语两个方向的翻译，为未来阿拉伯语NMT研究建立基线。

提出的方法

• 采用基于注意力机制的编码器-解码器NMT模型，编码器使用双向GRU，解码器使用单向GRU，通过随机梯度下降与反向传播联合训练。
• 通过在训练数据上应用字节对编码（BPE）生成子词单元，将词汇量限制在20,000个符号，以缓解OOV（词汇表外）问题。
• 针对阿拉伯语的预处理，评估了三种策略：简单分词（Tok）、拼写标准化（Norm），以及使用MADAMIRA的形态感知分词（ATB）。
• 英语预处理包括简单分词、小写化（用于En→Ar）和首字母大写校正（用于Ar→En），其中首字母大写校正仅在Ar→En方向应用。
• 短语基于翻译采用Moses实现，使用GIZA++进行词对齐，短语表最大长度为8个词，语言模型使用KenLM。
• 在领域内（MT05）和领域外（MEDAR）测试集上计算BLEU分数，以评估系统在不同数据分布下的性能。

实验结果

研究问题

• RQ1 在使用标准预处理的情况下，神经机器翻译在阿拉伯语-英语翻译上的表现是否与短语基于系统相当？
• RQ2 形态感知分词和拼写标准化在多大程度上提升了NMT性能？其效果是否与短语基于系统相同？
• RQ3 与短语基于系统相比，NMT在领域外测试数据上的泛化能力如何？
• RQ4 NMT能否在阿拉伯语翻译中实现高于短语基于系统的翻译质量，特别是在低资源或领域分布偏移的场景下？

主要发现

• 在领域内MT05测试集上，短语基于系统与神经机器翻译系统达到相近的BLEU分数，最佳配置（Tok+Norm+ATB）下，NMT达到33.62 BLEU，短语基于系统为33.53。
• 在领域外MEDAR测试集上，神经机器翻译系统显著优于短语基于系统，BLEU分数分别为49.70与47.53，表明其对领域分布偏移具有更强的鲁棒性。
• 采用形态感知分词（ATB）和拼写标准化（Norm）使两个系统在MT05上的BLEU分数均提升最多达+4.98，且在NMT与短语基于模型中观察到相同的相对增益。
• 预处理带来的改进效果远超英语预处理（如小写化或首字母大写校正）的影响，后者对翻译质量影响微乎其微，凸显阿拉伯语书写系统更高的复杂性。
• 神经模型在领域外数据上的性能提升表明，其连续分布式表征相比短语基于系统的稀疏n-gram模型，具备更强的泛化能力。
• 结果证实，最初为短语基于系统设计的预处理技术对NMT同样有效，支持其在端到端神经系统中的复用。