[论文解读] Contextual Parameter Generation for Universal Neural Machine Translation

Emmanouil Antonios Platanios, Mrinmaya Sachan+2 more|arXiv (Cornell University)|Aug 26, 2018

Natural Language Processing Techniques参考文献 15被引用 12

一句话总结

本文提出了一种上下文参数生成器（CPG），可为共享神经机器翻译模型动态生成语言特定的编码器和解码器参数，从而实现通用多语言翻译并提升性能。该方法通过利用语言嵌入作为参数生成的上下文，在不改变架构的前提下，实现了零样本翻译和单语微调，在 IWSLT-15 和 IWSLT-17 上取得了最先进结果。

ABSTRACT

We propose a simple modification to existing neural machine translation (NMT) models that enables using a single universal model to translate between multiple languages while allowing for language specific parameterization, and that can also be used for domain adaptation. Our approach requires no changes to the model architecture of a standard NMT system, but instead introduces a new component, the contextual parameter generator (CPG), that generates the parameters of the system (e.g., weights in a neural network). This parameter generator accepts source and target language embeddings as input, and generates the parameters for the encoder and the decoder, respectively. The rest of the model remains unchanged and is shared across all languages. We show how this simple modification enables the system to use monolingual data for training and also perform zero-shot translation. We further show it is able to surpass state-of-the-art performance for both the IWSLT-15 and IWSLT-17 datasets and that the learned language embeddings are able to uncover interesting relationships between languages.

研究动机与目标

• 通过在共享架构内实现语言特定的参数化，解决通用模型与单语言 NMT 模型的局限性。
• 通过在不同语言间受控地共享参数，提升低资源场景下的样本效率和性能。
• 在无需额外训练流程的情况下，利用单语数据实现零样本翻译和半监督学习。
• 学习有意义且可解释的语言嵌入，以反映语言间的相似性。
• 为现有 NMT 模型提供即插即用的增强方案，仅需极少的架构改动。

提出的方法

• 引入一种上下文参数生成器（CPG），以源语言和目标语言嵌入作为输入，生成编码器和解码器的模型权重。
• CPG 对每个输入句子动态生成参数，实现在共享核心模型架构下对语言的特定适应。
• 其余 NMT 模型部分——编码器、解码器、注意力机制——保持不变，并在所有语言对之间共享。
• 语言嵌入作为整体系统的一部分进行端到端训练，使模型能够学习语言间的关系。
• 通过 CPG 为未见过的语言对生成参数，实现零样本翻译。
• 利用去噪自编码器目标使用单语数据，实现半监督学习。

实验结果

研究问题

• RQ1 单个 NMT 模型是否能在不进行每种语言专用化的情况下，在多个语言对上实现强大性能？
• RQ2 是否可在不改变架构的前提下，在共享模型中实现语言特定的参数化？
• RQ3 CPG 是否能有效支持零样本翻译和利用单语数据的半监督学习？
• RQ4 所学习的语言嵌入是否能反映已知的语言间关系？
• RQ5 该模型是否能在无需完整微调的情况下泛化到新语言？

主要发现

• 所提出的模型在 IWSLT-15 和 IWSLT-17 多语言翻译基准上均取得了最先进性能。
• 该模型在低资源和高资源设置下均优于现有的通用 NMT 方法，包括 Johnson 等人（2017）的工作。
• 模型能够实现训练期间未见过的语言对之间的零样本翻译，展现出强大的泛化能力。
• 系统通过去噪自编码目标有效利用单语数据，无需平行语料即可提升性能。
• 所学习的语言嵌入捕捉到了已知的语言相似性，嵌入之间的余弦距离反映了已知的语言家族关系（例如德语与荷兰语）。
• 该方法通过受控的参数共享减少了参数量，同时保持高性能，使其具备可扩展性和样本效率。