[论文解读] A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT

Chi-Liang Liu, Tsung-Yuan Hsu+2 more|arXiv (Cornell University)|Apr 20, 2020

Topic Modeling参考文献 26被引用 9

一句话总结

本文研究了多语言 BERT（m-BERT）中的跨语言迁移，表明大规模预训练数据和长上下文窗口对于跨语言对齐至关重要。本文提出一种简单且计算高效的 方法——均值差异偏移（MDS），用于解耦语言特定表征，从而在无需微调的情况下提升零样本跨语言迁移性能，并通过操控潜在表征实现无监督词元翻译。

ABSTRACT

Recently, multilingual BERT works remarkably well on cross-lingual transfer tasks, superior to static non-contextualized word embeddings. In this work, we provide an in-depth experimental study to supplement the existing literature of cross-lingual ability. We compare the cross-lingual ability of non-contextualized and contextualized representation model with the same data. We found that datasize and context window size are crucial factors to the transferability. We also observe the language-specific information in multilingual BERT. By manipulating the latent representations, we can control the output languages of multilingual BERT, and achieve unsupervised token translation. We further show that based on the observation, there is a computationally cheap but effective approach to improve the cross-lingual ability of multilingual BERT.

研究动机与目标

• 理解训练数据规模和上下文窗口长度在 m-BERT 跨语言迁移性能中的作用。
• 探究尽管 m-BERT 具备跨语言能力，语言特定信息是否仍保留在其潜在表征中。
• 开发一种通过操控潜在表征来控制 m-BERT 输出语言的方法。
• 通过语言特定表征的解耦来提升 m-BERT 的零样本跨语言迁移性能。
• 证明一种简单且高效的无参数方法可提升 m-BERT 的跨语言迁移性能，而无需额外训练或平行数据。

提出的方法

• 使用相同训练数据，将 m-BERT 的跨语言性能与非上下文嵌入进行对比。
• 评估训练数据规模和上下文窗口长度变化对跨语言对齐和可迁移性的影响。
• 提出均值差异偏移（MDS）技术，通过向所有隐藏表征添加一个固定的语言特定向量来控制输出语言。
• 将 MDS 应用于 m-BERT 的最后几层，这些层中语言特定信息最为显著，以提升零样本迁移性能。
• 利用 MDS 实现无监督词元翻译，通过将表征偏移到与目标语言语义对齐。
• 在冻结早期层的前提下，对 m-BERT 在英语 XNLI 数据上进行微调，然后在最终分类层之前对隐藏状态应用 MDS。

实验结果

研究问题

• RQ1 训练数据规模和上下文窗口长度在多大程度上影响 m-BERT 的跨语言迁移性能？
• RQ2 m-BERT 的潜在表征中，语言特定信息的保留程度如何？
• RQ3 是否可以将语言特定表征分离并加以操控，以控制 m-BERT 的输出语言？
• RQ4 像 MDS 这样简单且无参数的方法是否能提升 m-BERT 的零样本跨语言迁移性能？
• RQ5 MDS 是否能在不进行微调的情况下提升下游跨语言任务（如 XNLI）的性能？

主要发现

• 更大的训练数据和更长的上下文窗口显著提升了 m-BERT 的跨语言对齐和迁移性能。
• 语言特定信息仍编码在 m-BERT 的表征中，尤其是在最后几层，使得通过 MDS 控制输出语言成为可能。
• 在最后几层应用 MDS 并设置偏移权重 α=3.0，显著提升了大多数语言在无监督翻译中的 BLEU-1 得分，尤其在第 10 和第 11 层效果最佳。
• 在 XNLI 测试集上，使用每种语言的最优 α 值时，MDS 将平均准确率从 58.00% 提升至 62.24%，大多数语言均获得增益，仅西班牙语和法语例外。
• MDS 的改进效果在最后几层最为显著，这与先前研究一致，即这些层编码了更多语言特定信息。
• MDS 对西班牙语和法语未带来性能提升，可能是因为其子词重叠度与英语较高，表明可能需要更精细、基于词汇的偏移机制。