[论文解读] Exploring Benefits of Transfer Learning in Neural Machine Translation

Tom Kocmi|arXiv (Cornell University)|Jan 6, 2020

Natural Language Processing Techniques参考文献 138被引用 16

一句话总结

本博士论文研究了神经机器翻译（NMT）中的迁移学习，以提升低资源语言对的性能。论文提出简单而有效的迁移技术——在无需先前微调的情况下重用预训练的高资源模型，或在微调后重用，实验证明这些方法显著提升了性能，尤其当源模型针对迁移进行优化时；同时，论文还量化了训练过程中因使用GPU导致的二氧化碳排放量。

ABSTRACT

Neural machine translation is known to require large numbers of parallel training sentences, which generally prevent it from excelling on low-resource language pairs. This thesis explores the use of cross-lingual transfer learning on neural networks as a way of solving the problem with the lack of resources. We propose several transfer learning approaches to reuse a model pretrained on a high-resource language pair. We pay particular attention to the simplicity of the techniques. We study two scenarios: (a) when we reuse the high-resource model without any prior modifications to its training process and (b) when we can prepare the first-stage high-resource model for transfer learning in advance. For the former scenario, we present a proof-of-concept method by reusing a model trained by other researchers. In the latter scenario, we present a method which reaches even larger improvements in translation performance. Apart from proposed techniques, we focus on an in-depth analysis of transfer learning techniques and try to shed some light on transfer learning improvements. We show how our techniques address specific problems of low-resource languages and are suitable even in high-resource transfer learning. We evaluate the potential drawbacks and behavior by studying transfer learning in various situations, for example, under artificially damaged training corpora, or with fixed various model parts.

研究动机与目标

• 为解决低资源神经机器翻译问题，即平行语料不足导致性能受限。
• 通过重用在高资源语言对上预训练的模型，探索迁移学习作为解决方案。
• 评估迁移学习对翻译质量的影响，尤其在低资源与高资源设置下的表现。
• 分析在各种条件下（如数据损坏或模型组件固定）下迁移学习的行为特征与局限性。
• 量化训练NMT模型的环境成本，估算基于GPU使用情况的二氧化碳排放量。

提出的方法

• 提出一种概念验证方法，无需修改其训练过程即可重用其他研究者预训练的NMT模型。
• 引入一种改进的迁移学习方法，专门针对迁移任务对第一阶段的高资源模型进行准备，从而提升性能。
• 采用标准的NMT架构，包括Transformer模型，使用字节对编码（Byte Pair Encoding）和WordPiece进行子词分词。
• 通过使用高资源源模型的编码器和/或解码器权重初始化目标模型，实现迁移学习。
• 在多个语言对上开展广泛实验，涵盖低资源场景及人为损坏的训练数据。
• 基于GPU使用日志、功耗数据及区域电力结构（捷克共和国：516 g CO2/kWh）估算二氧化碳排放量。

实验结果

研究问题

• RQ1 迁移学习在提升低资源语言对翻译质量方面的有效性如何？
• RQ2 在不修改其训练过程的前提下重用预训练模型，能带来多大的性能提升？
• RQ3 专门针对迁移学习进行预训练的源模型，如何影响下游任务的性能？
• RQ4 在数据损坏或模型组件固定的情况下，迁移学习的行为特征是什么？
• RQ5 训练NMT模型的环境影响如何，特别是二氧化碳排放量？

主要发现

• 通过迁移学习，研究在低资源语言对上实现了显著的翻译性能提升，尤其当源模型针对迁移进行优化时效果更佳。
• 所提出的预先为迁移学习准备源模型的方法，相比直接重用现有模型，带来了更大的性能增益。
• 迁移学习能有效缓解数据稀缺问题，并在人为损坏的训练语料中提升模型鲁棒性。
• 研究训练运行产生的二氧化碳排放总量达9.8吨，相当于11次跨大西洋航班或两人均年人均排放量的两年份。
• 训练NMT模型的环境成本巨大，实验中累计消耗18.9 GWh电能，凸显了推动更可持续实践的迫切需求。