[论文解读] A Recipe for Arabic-English Neural Machine Translation

Abdullah Alrajeh|arXiv (Cornell University)|Aug 18, 2018

Natural Language Processing Techniques参考文献 20被引用 12

一句话总结

本文提出了一套全面的阿拉伯语-英语神经机器翻译（NMT）方案，证明通过适当的阿拉伯语预处理（如规范化和分词）——NMT系统可实现最先进性能。在NIST MT 2012测试集上，最佳NMT系统相比同等的短语基于SMT系统提升了+13 BLEU分，且通过在高质量小规模语料（如Ummah）上微调进一步提升了性能。

ABSTRACT

In this paper, we present a recipe for building a good Arabic-English neural machine translation. We compare neural systems with traditional phrase-based systems using various parallel corpora including UN, ISI and Ummah. We also investigate the importance of special preprocessing of the Arabic script. The presented results are based on test sets from NIST MT 2005 and 2012. The best neural system produces a gain of +13 BLEU points compared to an equivalent simple phrase-based system in NIST MT12 test set. Unexpectedly, we find that tuning a model trained on the whole data using a small high quality corpus like Ummah gives a substantial improvement (+3 BLEU points). We also find that training a neural system with a small Arabic-English corpus is competitive to a traditional phrase-based system.

研究动机与目标

• 开发一种稳健的端到端阿拉伯语-英语神经机器翻译方案，超越传统的短语基于SMT系统。
• 研究针对阿拉伯语文本的专用脚本预处理（如规范化和分词）对NMT和SMT系统的影响。
• 评估包括联合国（UN）、Ummah、ISI等在内的多种平行语料在训练高性能翻译模型中的有效性。
• 确定小规模高质量数据集（如Ummah）在微调过程中是否能显著提升NMT性能。
• 比较NMT与短语基于SMT在低资源和高资源设置下的可扩展性与效率。

提出的方法

• 采用编码器-解码器结构的序列到序列NMT架构，使用双向LSTM和注意力机制以建模长距离依赖关系。
• 采用字节对编码（BPE），联合词汇量为90,000，以处理OOV（词汇表外）词并支持开放词汇翻译。
• 使用Marian NMT工具包进行高效训练与推理，利用基于C++的优化以提升速度与内存效率。
• 通过Farasa应用阿拉伯语预处理（ATB方案），包括规范化与分词，以提升模型泛化能力并减少歧义。
• 在全部数据上训练的大规模NMT模型，通过仅使用小规模高质量语料（Ummah）进行微调，以提升性能而无需从头开始训练。
• 将五个表现最佳的NMT模型进行模型集成，以进一步提升鲁棒性与BLEU分数。

实验结果

研究问题

• RQ1 阿拉伯语预处理（规范化与分词）对阿拉伯语-英语翻译中NMT与短语基于SMT系统的性能有何影响？
• RQ2 与在更大但噪声更多的语料上训练相比，仅在小规模高质量语料（如Ummah）上训练NMT模型，其翻译质量提升程度如何？
• RQ3 在小规模阿拉伯语-英语语料上训练的神经机器翻译系统，能否实现与或优于短语基于SMT系统的性能？
• RQ4 尽管UN平行语料不属于新闻领域，其引入是否能为阿拉伯语-英语系统带来可测量的翻译质量提升？
• RQ5 模型集成与微调对NMT性能的影响如何，特别是在使用高质量领域内数据进行适应时？

主要发现

• 阿拉伯语预处理显著提升了NMT与SMT系统的翻译质量，部分配置下提升高达+8.5 BLEU分。
• 最佳NMT系统在NIST MT 2012测试集上相比同等的短语基于SMT系统提升了+13 BLEU分，证明了NMT的优越性。
• 仅使用Ummah语料对在全量数据上训练的模型进行微调，带来了+3 BLEU分的性能提升，表明高质量领域内数据在模型适应中极为有效。
• 即使仅使用230万对阿拉伯语-英语词对（Ummah），NMT系统仍优于短语基于系统，表明其在低资源设置下表现强劲。
• 对五个最佳NMT模型进行集成，进一步提升了+1.5 BLEU分，最终在NIST MT 2005上达到62.98 BLEU，在MT 2012上达到54.27 BLEU。
• 尽管尝试了如Transformer等先进架构，但未观察到性能提升，且增加联合词汇量亦未改善结果。