[论文解读] A Comprehensive Survey of Multilingual Neural Machine Translation

Raj Dabre, Chenhui Chu+1 more|arXiv (Cornell University)|Jan 4, 2020

Natural Language Processing Techniques参考文献 145被引用 23

一句话总结

本篇全面综述整合了多语言神经机器翻译（MNMT）领域的最新进展，按应用场景、资源情景、建模范式及核心挑战对方法进行分类。研究表明，共享的多语言表征可通过知识迁移显著提升低资源语言翻译性能，同时指出了在可扩展、端到端多语言系统中存在容量瓶颈，并提出了未来研究方向。

ABSTRACT

We present a survey on multilingual neural machine translation (MNMT), which has gained a lot of traction in the recent years. MNMT has been useful in improving translation quality as a result of translation knowledge transfer (transfer learning). MNMT is more promising and interesting than its statistical machine translation counterpart because end-to-end modeling and distributed representations open new avenues for research on machine translation. Many approaches have been proposed in order to exploit multilingual parallel corpora for improving translation quality. However, the lack of a comprehensive survey makes it difficult to determine which approaches are promising and hence deserve further exploration. In this paper, we present an in-depth survey of existing literature on MNMT. We first categorize various approaches based on their central use-case and then further categorize them based on resource scenarios, underlying modeling principles, core-issues and challenges. Wherever possible we address the strengths and weaknesses of several techniques by comparing them with each other. We also discuss the future directions that MNMT research might take. This paper is aimed towards both, beginners and experts in NMT. We hope this paper will serve as a starting point as well as a source of new ideas for researchers and engineers interested in MNMT.

研究动机与目标

• 为研究人员和从业者提供多语言神经机器翻译（MNMT）文献的系统性、深入综述。
• 基于应用场景、资源可用性、建模范式及核心挑战对MNMT方法进行分类。
• 分析现有技术的优势与劣势，尤其关注知识迁移与零样本翻译方面。
• 识别在可扩展、高效且泛化能力强的多语言翻译系统中仍存在的开放问题与未来研究方向。
• 为多语言NMT领域的新手与专家提供基础参考。

提出的方法

• 从四个维度对MNMT方法进行分类：应用场景（多向、低资源、多源）、资源情景（高/低/零资源）、建模范式（共享与独立编码器/解码器）以及核心问题（如容量瓶颈）。
• 回顾关键架构，包括带注意力机制的序列到序列模型、基于Transformer的模型，以及用于多语言学习的混合RNN/CNN/FFN设计。
• 分析MNMT中的知识迁移机制，包括零样本翻译与拼接翻译（pivoting），即通过高资源语言的监督提升低资源语言对的性能。
• 评估参数共享、增量学习与知识蒸馏等技术，以缓解大规模多语言模型中的容量瓶颈问题。
• 讨论新兴方向，如联合多语言与多领域NMT，以及集成自动语音识别（ASR）、机器翻译（MT）与文本到语音（TTS）的端到端多语言语音到语音翻译。
• 基于基准数据集的实证结果，对比单语、双语与多语言NMT系统，突出其泛化能力与正则化优势。

实验结果

研究问题

• RQ1 单一多语言模型能否在不显著降低性能的前提下，有效处理数百种语言对之间的翻译？
• RQ2 从高资源语言向低资源语言的知识迁移在多语言NMT中在多大程度上提升了翻译质量？
• RQ3 哪些关键的架构与训练挑战限制了多语言模型在超过100种语言对时的可扩展性？
• RQ4 如何使多语言表征在实现语言无关的泛化能力与保持语言特异性表达力之间达到平衡，以实现最优翻译性能？
• RQ5 联合多语言与多领域学习，或端到端多语言语音到语音翻译，在推动该领域发展方面发挥何种作用？

主要发现

• 通过知识迁移，多语言NMT显著提升了低资源语言的翻译质量，即使目标语言对缺乏平行语料亦可实现。
• 共享的多语言表征支持零样本翻译，即模型通过跨语言迁移能力实现未见过的语言对之间的翻译。
• 尽管性能有所提升，现有模型在扩展至超过100种语言对时仍面临容量瓶颈，限制了进一步改进。
• 在多种语言上联合训练可增强模型泛化能力，并起到正则化作用，提升鲁棒性与分布外性能。
• 多源翻译（即多个源语言输入至单一目标语言）是一个具有挑战性但前景广阔的方向，需精心建模语言特异与共享表征。
• 未来系统可能受益于混合架构（如结合RNN、CNN与自注意力机制）以及对抗性训练，以学习领域与语言无关的表征。