[论文解读] Inducing Language-Agnostic Multilingual Representations

Wei Zhao, Steffen Eger+2 more|arXiv (Cornell University)|Aug 20, 2020

Topic Modeling参考文献 33被引用 16

一句话总结

本文提出了一种简单但有效的方法，通过归一化多语言上下文嵌入来生成语言无关的多语言表征——去除语言特定的均值和方差，将向量空间重新对齐至一个基准语言，并对输入文本进行归一化。其主要贡献在于，这三种技术彼此正交，且组合使用可使 m-BERT 在 19 种语言上平均减少 8.9 分的跨语言迁移差距，XLM-R 减少 18.2 分，显著提升了低资源和语言类型差异较大的语言的零样本迁移性能，且无需平行数据或昂贵的重映射。

ABSTRACT

Cross-lingual representations have the potential to make NLP techniques available to the vast majority of languages in the world. However, they currently require large pretraining corpora or access to typologically similar languages. In this work, we address these obstacles by removing language identity signals from multilingual embeddings. We examine three approaches for this: (i) re-aligning the vector spaces of target languages (all together) to a pivot source language; (ii) removing language-specific means and variances, which yields better discriminativeness of embeddings as a by-product; and (iii) increasing input similarity across languages by removing morphological contractions and sentence reordering. We evaluate on XNLI and reference-free MT across 19 typologically diverse languages. Our findings expose the limitations of these approaches -- unlike vector normalization, vector space re-alignment and text normalization do not achieve consistent gains across encoders and languages. Due to the approaches' additive effects, their combination decreases the cross-lingual transfer gap by 8.9 points (m-BERT) and 18.2 points (XLM-R) on average across all tasks and languages, however. Our code and models are publicly available.

研究动机与目标

• 为解决 m-BERT 和 XLM-R 等多语言编码器在低资源和语言类型差异较大的语言上的跨语言迁移性能不佳的问题。
• 通过从多语言表征中去除语言身份信号，减少对大规模预训练语料或平行数据的依赖。
• 评估输入归一化、向量空间归一化和重映射在提升跨语言迁移方面的有效性与互补性。
• 通过分析语言中心点聚类和类型学相关性，探究所得表征是否真正实现语言无关。

提出的方法

• 通过根据类型学特征重新排序句子并去除形态缩写，提升跨语言输入相似性，实现输入层归一化。
• 通过去除语言特定的均值和标准差，对多语言嵌入进行归一化，以提高判别能力并减少语言间方差。
• 使用线性变换将目标语言的向量空间重新对齐至基准源语言（如英语），以最小化语言间距离。
• 通过加法方式组合所有三种技术——输入归一化、向量空间归一化和重映射，以评估累积增益。
• 使用最先进的编码器 m-BERT 和 XLM-R，在零样本 XNLI 和无参考机器翻译评估（RFEval）上评估方法效果。
• 在不同层上评估影响，并针对数据量和与英语类型学距离不同的语言家族进行分析。

实验结果

研究问题

• RQ1 在 19 种多样化语言上，输入归一化、向量空间归一化和重映射在 XNLI 和 RFEval 上对零样本跨语言迁移性能的提升程度如何？
• RQ2 这些技术如何影响跨语言迁移差距，特别是对低资源和类型学差异较大的语言？
• RQ3 经修改后的表征在多大程度上实现语言无关性，表现为语言中心点聚类中语言身份信号的减弱？
• RQ4 嵌入空间中诱导的语言相似性与专家标注的类型学特征（WALS）的相关性如何？该相关性在修改后是否发生变化？

主要发现

• 输入归一化、向量空间归一化和重映射的组合，在所有任务和语言上使 m-BERT 的跨语言迁移差距平均减少 8.9 分，XLM-R 减少 18.2 分。
• 仅使用向量空间归一化即可获得与更昂贵的重映射方法相当的性能增益，且在不同语言和编码器上表现更一致。
• 输入归一化在 XNLI 和 RFEval 上最多带来 4.7 分的性能提升，但其有效性受限于所有语言的语法特征可用性。
• 这三种技术在很大程度上正交，其效果呈加法叠加，表明它们针对的是跨语言表征不匹配的不同方面。
• 在归一化和重新对齐的向量空间中，语言身份信号显著减弱，表现为语言家族内部的语言中心点聚类更紧密，且与 WALS 类型学特征的相关性降低。
• 尽管与 WALS 的相关性降低，但修改后的表征仍保留了有意义的结构相似性，表明其更具语言无关性，同时保留了有用的跨语言信息。