[论文解读] A Brief Survey of Multilingual Neural Machine Translation

Raj Dabre, Chenhui Chu+1 more|arXiv (Cornell University)|May 14, 2019

Natural Language Processing Techniques参考文献 96被引用 4

一句话总结

本综述全面概述了多语言神经机器翻译（MNMT），根据资源场景和建模原则对方法进行分类。它强调了知识迁移、模型效率和跨语言表征学习作为关键优势，为研究人员提供了系统性框架，以把握MNMT架构、数据集以及未来方向（如零样本翻译和多语言表征学习）。

ABSTRACT

We present a survey on multilingual neural machine translation (MNMT), which has gained a lot of traction in the recent years. MNMT has been useful in improving translation quality as a result of knowledge transfer. MNMT is more promising and interesting than its statistical machine translation counterpart because end-to-end modeling and distributed representations open new avenues. Many approaches have been proposed in order to exploit multilingual parallel corpora for improving translation quality. However, the lack of a comprehensive survey makes it difficult to determine which approaches are promising and hence deserve further exploration. In this paper, we present an in-depth survey of existing literature on MNMT. We categorize various approaches based on the resource scenarios as well as underlying modeling principles. We hope this paper will serve as a starting point for researchers and engineers interested in MNMT.

研究动机与目标

• 通过基于资源可用性和建模原则对方法进行分类，系统化整理多语言神经机器翻译（MNMT）研究的快速增长成果。
• 识别并分析现有MNMT系统在多向翻译、低资源/零资源和多源翻译场景下的关键设计选择、优势与局限。
• 从历史角度回顾MNMT与早期多语言统计和规则为基础的MT系统的关系。
• 将MNMT与NMT中的领域自适应进行比较，突出迁移学习和伪数据生成等技术的异同。
• 概述有前景的未来研究方向，包括语言无关表征学习、多目标语言建模以及混合语言处理。

提出的方法

• 将MNMT方法划分为三大主要场景：多向翻译、低/零资源翻译（包括迁移学习、桥接法和零样本翻译）以及多源翻译。
• 分析共享编码器、共享注意力机制以及基于适配器的架构等建模原则，以实现参数效率。
• 调查多语言MT中的关键数据集和共享任务，包括OPUS、Tatoeba和WMT基准。
• 将MNMT与NMT中的领域自适应进行比较，尤其关注回译生成伪双语数据和迁移学习等技术。
• 评估在跨语言词向量和句子嵌入上进行预训练的作用，以提升泛化能力和零样本性能。
• 提出未来的方法论方向，包括语言无关表征学习和联合多语言-多领域建模。

实验结果

研究问题

• RQ1 多语言神经机器翻译如何通过在多样化语言对之间迁移知识来提升翻译质量？
• RQ2 在单一NMT模型中处理多种语言时，最有效的架构设计是什么，尤其是在低资源环境下？
• RQ3 多向翻译、零样本翻译和基于桥接的翻译方法在性能和适用性方面有何不同？
• RQ4 在单语或双语语料上进行预训练如何增强NMT系统中的多语言表征学习？
• RQ5 在同时处理混合语言和多目标语言方面，扩展MNMT面临哪些挑战与机遇？

主要发现

• MNMT通过共享表征实现了跨语言的知识迁移，显著提升了翻译质量，尤其在低资源语言对中表现突出。
• 多向NMT系统通过在多个语言对之间共享参数，实现了紧凑的模型规模，降低了在资源受限设备上的部署成本。
• 由于共享的跨语言表征，MNMT中实现了零样本翻译，使得无需任何并行训练数据即可实现语言对之间的翻译。
• 在MNMT中，迁移学习和回译技术表现出显著的性能提升，特别是在从高资源语言向低资源语言迁移知识时。
• 跨语言句子嵌入以及如mBERT和XLM-R等预训练方法在提升零样本和少样本翻译性能方面展现出良好前景。
• 尽管已取得进展，但在建模语言无关表征方面仍存在挑战，尤其是由于语言间词序差异和可变长度表征所致。