[论文解读] Investigating Multilingual NMT Representations at Scale

Sneha Kudugunta, Ankur Bapna+3 more|arXiv (Cornell University)|Sep 5, 2019

Topic Modeling参考文献 34被引用 10

一句话总结

本文通过奇异值典型相关分析（SVCCA）研究了在103种语言上训练的大型多语言神经机器翻译（NMT）模型中的表示学习。研究发现，语言相似性驱动编码器表示聚类，源语言与目标语言表示之间存在跨语言依赖关系，高资源语言或语言相似性高的语言在微调时表现更稳健，为跨语言迁移机制提供了洞见。

ABSTRACT

Multilingual Neural Machine Translation (NMT) models have yielded large empirical success in transfer learning settings. However, these black-box representations are poorly understood, and their mode of transfer remains elusive. In this work, we attempt to understand massively multilingual NMT representations (with 103 languages) using Singular Value Canonical Correlation Analysis (SVCCA), a representation similarity framework that allows us to compare representations across different languages, layers and models. Our analysis validates several empirical results and long-standing intuitions, and unveils new observations regarding how representations evolve in a multilingual translation model. We draw three major conclusions from our analysis, with implications on cross-lingual transfer learning: (i) Encoder representations of different languages cluster based on linguistic similarity, (ii) Representations of a source language learned by the encoder are dependent on the target language, and vice-versa, and (iii) Representations of high resource and/or linguistically similar languages are more robust when fine-tuning on an arbitrary language pair, which is critical to determining how much cross-lingual transfer can be expected in a zero or few-shot setting. We further connect our findings with existing empirical observations in multilingual NMT and transfer learning.

研究动机与目标

• 理解在103种语言上训练的大规模模型中多语言NMT表示的本质。
• 探究影响不同语言、层和模型之间表示重叠程度的因素。
• 评估在任意语言对上微调时表示的鲁棒性。
• 将多语言迁移学习中的经验观察与所学表示的结构特性联系起来。

提出的方法

• 本研究采用奇异值典型相关分析（SVCCA）比较不同语言、层和模型之间的高维、噪声表示。
• 在涵盖102种语言和英语的250亿句对上训练了一个大规模多语言NMT模型，数据覆盖广泛的资源水平和语言多样性。
• 在微调前后，测量不同语言对的编码器和解码器表示之间的表示相似性。
• 对多种语言对（如ru-en、ko-en、km-en）应用微调，以评估各层表示空间的变化。
• 使用包含约3,000对语义相同的句子对的多向对齐评估集，以在相似性分析中控制语义因素。
• 在编码器和解码器的所有层上进行分析，以评估表示稳定性和可迁移性在各层的变化。

实验结果

研究问题

• RQ1 在多语言NMT模型中，哪些因素决定了不同语言之间所学表示的重叠程度？
• RQ2 表示重叠程度在模型的不同层之间是否一致？
• RQ3 在任意语言对上微调时，多语言NMT表示的鲁棒性如何，哪些因素影响这种鲁棒性？

主要发现

• 不同语言的编码器表示基于语言相似性聚类，表明结构和类型学上相似的语言发展出更对齐的表示。
• 在训练过程中，编码器中源语言的表示依赖于目标语言，反之亦然，揭示了共享表示空间中双向的相互依赖关系。
• 在任意语言对上微调时，高资源语言和/或语言相似性高的语言的表示更稳健，表明在零样本或少样本设置中具有更强的跨语言迁移潜力。
• 在编码器和解码器的深层，微调过程中表示变化的程度增加，表明深层对变化更敏感。
• 对于高资源和语言相近的语言对，模型表现出更高的表示相似性稳定性，这与低资源迁移场景下的更好泛化能力相关。
• 研究结果验证了关于迁移学习的长期直觉，并为多语言NMT在零样本和少样本翻译中的成功提供了实证基础。