[论文解读] Machine Translation: A Literature Review

Ankush Garg, Mayank Agarwal|arXiv (Cornell University)|Dec 28, 2018

Natural Language Processing Techniques参考文献 46被引用 9

一句话总结

本篇文献综述回顾了机器翻译从基于规则和统计方法到现代神经机器翻译（NMT）的发展历程，重点介绍了注意力机制、序列到序列建模以及无监督学习方面的进展。研究表明，NMT已达到最先进性能，近期的模型如'One Model to Learn Them All'实现了多任务学习，而无监督NMT即使在并行数据有限的情况下也取得了显著提升。

ABSTRACT

Machine translation (MT) plays an important role in benefiting linguists, sociologists, computer scientists, etc. by processing natural language to translate it into some other natural language. And this demand has grown exponentially over past couple of years, considering the enormous exchange of information between different regions with different regional languages. Machine Translation poses numerous challenges, some of which are: a) Not all words in one language has equivalent word in another language b) Two given languages may have completely different structures c) Words can have more than one meaning. Owing to these challenges, along with many others, MT has been active area of research for more than five decades. Numerous methods have been proposed in the past which either aim at improving the quality of the translations generated by them, or study the robustness of these systems by measuring their performance on many different languages. In this literature review, we discuss statistical approaches (in particular word-based and phrase-based) and neural approaches which have gained widespread prominence owing to their state-of-the-art results across multiple major languages.

研究动机与目标

• 提供对机器翻译研究历史发展与当前状态的全面概述。
• 分析统计机器翻译（SMT）的优缺点，特别是基于词和短语的模型。
• 考察神经机器翻译（NMT）的兴起及其架构创新，包括注意力机制和序列到序列建模。
• 探索利用单语数据和回译技术，在无监督和低资源神经机器翻译方面的最新进展。
• 评估统一的多任务架构（如'One Model to Learn Them All'）在提升自然语言处理任务泛化能力方面的潜力。

提出的方法

• 调查了基于规则的机器翻译（RBMT）的奠基性工作，包括直接法、转换法和中间语系统，重点分析其语义与结构挑战。
• 回顾了使用公式 $ T = \arg\max_T P(T|S) = \arg\max_T P(T)P(S|T) $ 的统计机器翻译（SMT），其中 $ P(T) $ 为语言模型，$ P(S|T) $ 为翻译模型。
• 分析了短语级SMT，该方法通过对齐模型和畸变模型在短语层面建模翻译，以提升流畅性与准确性。
• 探索了使用编码器-解码器架构与注意力机制的神经机器翻译（NMT），以改善上下文建模与长距离依赖。
• 讨论了利用去噪自编码器和实时回译技术的无监督NMT方法，以生成伪并行单语数据。
• 评估了类似'One Model to Learn Them All'的多任务NMT架构，其采用共享编码器、模态特定头以及专家混合机制，实现在多个任务上的联合学习。

实验结果

研究问题

• RQ1 基于规则、统计和神经机器翻译系统在架构、性能和数据需求方面如何演变？
• RQ2 与早期SMT方法相比，NMT中的注意力机制和序列到序列建模具有哪些关键优势？
• RQ3 仅使用单语数据训练的无监督NMT模型在多大程度上能实现与有监督系统相当的性能？
• RQ4 统一的神经架构能否有效学习多种自然语言处理任务（包括机器翻译），同时不牺牲单个任务的性能？
• RQ5 诸如回译和去噪等技术如何提升低资源神经翻译系统的鲁棒性与泛化能力？

主要发现

• 神经机器翻译（NMT）在翻译质量上已超越统计方法，在中文到英文新闻翻译任务中已达到人类水平。
• NMT中的注意力机制通过使解码器在翻译过程中聚焦于相关源词，显著提升了性能。
• 采用去噪与实时回译的无监督NMT在德语-英语和法语-英语翻译任务中，基线性能提升了至少40%。
• 'One Model to Learn Them All'架构在包括机器翻译在内的多样化任务中实现了接近最先进水平的性能，同时保持了高效性与泛化能力。
• 在WMT’14英语到法语任务中，通过引入词对齐信息处理OOV（词汇表外）词汇的NMT系统，BLEU得分最高提升了2.8分。
• 即使并行数据极少，无监督NMT方法仍表现出可测量的性能提升，显示出在低资源语言翻译中的巨大潜力。