[论文解读] A Survey of Deep Learning Techniques for Neural Machine Translation

Shuoheng Yang, Yuxin Wang+1 more|arXiv (Cornell University)|Feb 18, 2020

Natural Language Processing Techniques参考文献 133被引用 98

一句话总结

这篇论文综述神经机器翻译（NMT）的起源与发展，按架构和训练方法对模型进行分类，突出注意力与覆盖机制，并概述未来研究趋势。

ABSTRACT

In recent years, natural language processing (NLP) has got great development with deep learning techniques. In the sub-field of machine translation, a new approach named Neural Machine Translation (NMT) has emerged and got massive attention from both academia and industry. However, with a significant number of researches proposed in the past several years, there is little work in investigating the development process of this new technology trend. This literature survey traces back the origin and principal development timeline of NMT, investigates the important branches, categorizes different research orientations, and discusses some future research trends in this field.

研究动机与目标

• 追踪神经机器翻译 (NMT) 的起源与发展时间线。
• 按架构取向和训练方法对 NMT 模型进行分类。
• 讨论关键组件（注意力、词汇覆盖）及其对翻译质量的影响。
• 评估先进的 NMT 模型及潜在未来方向。

提出的方法

• 对历史翻译范式的文献综述（基于规则、统计、神经）。
• 按架构分类 NMT 变体（基于 RNN、基于 CNN、Transformer）。
• 讨论编码器–解码器结构及训练/推断程序。
• 分析 NMT 中的注意力机制与覆盖问题。
• 概述先进模型及对速度与质量的实际影响。

实验结果

研究问题

• RQ1 NMT 历史中的主要发展阶段和模型族有哪些？
• RQ2 注意力和覆盖机制如何提升 NMT 的翻译质量？
• RQ3 基于 RNN、CNN 和 Transformer 的 NMT 模型之间有哪些权衡？
• RQ4 NMT 研究中突出未来的趋势与方向有哪些？

主要发现

• NMT 从浅层到深层架构再到基于注意力和 Transformer 的模型发展。
• 编码器–解码器是端到端 NMT 的核心结构，通过深度、双向性和专用单元（LSTM/GRU）得到增强。
• 注意力机制解决长距离依赖问题，提升翻译质量，超越早期的 RNN/NLM 基线。
• 基于 CNN 的 NMT 提供速度优势，但历史上在处理长距离依赖方面存在挑战，直到注意力/Transformer 的改进。
• 词汇覆盖及相关机制是当前 NMT 设计中的关键考量。
• 本综述讨论了高级模型（如 GNMT、MoE）并预期 NMT 的未来研究方向。