[论文解读] Meta-Learning for Low-Resource Neural Machine Translation

Jiatao Gu, Yong Wang+3 more|arXiv (Cornell University)|Aug 25, 2018

Natural Language Processing Techniques参考文献 36被引用 30

一句话总结

该论文提出 MetaNMT，一种元学习框架，通过利用高资源语言对作为源任务，实现神经机器翻译模型在低资源语言上的快速适应。通过整合通用词汇表示以解决跨语言输入输出不匹配问题，MetaNMT 仅使用 16,000 个平行句（约 600 句）即达到 SOTA 性能，在罗马尼亚语-英语翻译任务上取得 22.04 BLEU 的结果，显著优于多语言迁移学习方法。

ABSTRACT

In this paper, we propose to extend the recently introduced model-agnostic meta-learning algorithm (MAML) for low-resource neural machine translation (NMT). We frame low-resource translation as a meta-learning problem, and we learn to adapt to low-resource languages based on multilingual high-resource language tasks. We use the universal lexical representation~\citep{gu2018universal} to overcome the input-output mismatch across different languages. We evaluate the proposed meta-learning strategy using eighteen European languages (Bg, Cs, Da, De, El, Es, Et, Fr, Hu, It, Lt, Nl, Pl, Pt, Sk, Sl, Sv and Ru) as source tasks and five diverse languages (Ro, Lv, Fi, Tr and Ko) as target tasks. We show that the proposed approach significantly outperforms the multilingual, transfer learning based approach~\citep{zoph2016transfer} and enables us to train a competitive NMT system with only a fraction of training examples. For instance, the proposed approach can achieve as high as 22.04 BLEU on Romanian-English WMT'16 by seeing only 16,000 translated words (~600 parallel sentences).

研究动机与目标

• 解决因平行训练数据有限而导致低资源神经机器翻译性能不佳的问题。
• 通过元学习实现 NMT 模型对新低资源语言对的快速适应。
• 克服多语言元学习场景中跨语言输入输出词汇表不匹配的问题。
• 通过元学习初始化模型参数，提升在低资源设置下的泛化能力与鲁棒性。
• 证明元学习在低资源翻译中可超越标准多语言学习与迁移学习方法。

提出的方法

• 将低资源翻译问题建模为元学习问题，将每个语言对视为独立任务。
• 对模型无关元学习（MAML）算法进行改进，学习一种模型参数初始化方式，使模型能在新低资源语言上实现快速微调。
• 整合通用词汇表示（ULR），以对齐具有非重叠词汇表的语言之间的输入与输出嵌入。
• 在 18 个高资源欧洲语言及俄语语言对（源任务）上训练元学习器，随后在低资源目标语言（Ro, Lv, Fi, Tr, Ko）上进行微调。
• 采用共享编码器-解码器架构并结合 ULR，确保元训练与适应过程中的跨语言兼容性。
• 在目标任务上使用有限的平行数据（最多 160k 词元）进行微调，以评估快速适应能力。

实验结果

研究问题

• RQ1 通过将语言对视为独立任务，元学习能否有效应用于低资源神经机器翻译？
• RQ2 在低资源设置下，结合通用词汇表示的元学习与标准多语言学习及迁移学习基线相比表现如何？
• RQ3 源任务数量在多大程度上影响低资源目标语言的性能？
• RQ4 当训练数据严重受限时，元学习初始化的鲁棒性如何？
• RQ5 元学习模型能否在多种语言对上实现泛化，包括语言类型差异显著的语言对（如土耳其语与韩语）？

主要发现

• 在所有五个低资源目标语言对（Ro, Lv, Fi, Tr, Ko）的零样本与少样本设置下，MetaNMT 均优于多语言迁移学习基线。
• 在罗马尼亚语-英语翻译任务中，MetaNMT 仅使用 16,000 个英语平行词元（约 600 组句子对）即达到 22.04 BLEU，展现出强大的少样本泛化能力。
• 随着训练数据量减少，MetaNMT 与多语言迁移学习基线之间的性能差距进一步扩大，证实其在数据稀缺场景下具有更强的鲁棒性。
• 训练曲线显示，MetaNMT 在微调过程中持续提升性能，而多语言基线因在源任务上过拟合而趋于饱和甚至下降。
• 使用通用词汇表示可实现无需微调的逐词翻译，并在目标数据上经过极小量微调后即可实现快速句法重排。
• 增加源任务数量可稳定提升性能，当源语言数从 1 个增至 18 个时，根据目标语言对不同，BLEU 值最高可提升 2 倍。