[论文解读] Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation

Nils Reimers, Iryna Gurevych|arXiv (Cornell University)|Apr 21, 2020

Topic Modeling被引用 28

一句话总结

该论文提出一种知识蒸馏方法，通过训练学生模型将源语言句子及其翻译的向量表示对齐，从而将单语句嵌入扩展至多语言使用。利用预训练的单语教师模型（如英文SBERT），学生模型学习将原始句子和翻译后的句子映射到同一嵌入空间，与LASER相比，在低资源语言上准确率最高提升40个百分点，计算成本极低，且向量空间特性具有强迁移性。

ABSTRACT

We present an easy and efficient method to extend existing sentence embedding models to new languages. This allows to create multilingual versions from previously monolingual models. The training is based on the idea that a translated sentence should be mapped to the same location in the vector space as the original sentence. We use the original (monolingual) model to generate sentence embeddings for the source language and then train a new system on translated sentences to mimic the original model. Compared to other methods for training multilingual sentence embeddings, this approach has several advantages: It is easy to extend existing models with relatively few samples to new languages, it is easier to ensure desired properties for the vector space, and the hardware requirements for training is lower. We demonstrate the effectiveness of our approach for 50+ languages from various language families. Code to extend sentence embeddings models to more than 400 languages is publicly available.

研究动机与目标

• 解决尽管存在如SBERT等强大的单语句嵌入模型，但缺乏多语言句嵌入模型的问题。
• 实现对现有单语模型的高效、低资源扩展，无需从头开始重新训练即可支持新语言。
• 在多语言设置中保留源语言的期望向量空间特性（例如聚类、相似性）。
• 与多任务或对比预训练方法相比，降低训练复杂度和硬件需求。
• 通过将源语言优化与多语言适应解耦，最小化多语言句表示中的语言偏差。

提出的方法

• 训练学生模型，使其输出与教师模型在源语言和翻译句子上的输出之间的均方误差最小化。
• 使用平行句子对（源语言，翻译）作为训练数据，其中教师模型为源语言生成参考嵌入。
• 以XLM-RoBERTa权重初始化学生模型，其支持100种语言，并使用共享的SentencePiece分词器，避免语言特定分词问题。
• 应用知识蒸馏，损失函数强制满足：||M(s_i) - M̂(s_i)||² + ||M(s_i) - M̂(t_i)||²，确保源语言和翻译均被映射至接近教师输出的位置。
• 使用标准优化器和学习率调度，端到端训练学生模型，实现单次训练即可迁移到多种语言。
• 解耦训练过程：首先训练高质量的单语模型（如SBERT），然后通过蒸馏将其扩展至新语言，避免灾难性遗忘。

实验结果

研究问题

• RQ1 是否可以无需从头开始重新训练，有效将单语句嵌入模型扩展至支持多种新语言？
• RQ2 从单语教师模型进行知识蒸馏是否能在目标语言中保留期望的向量空间特性（如语义相似性、聚类）？
• RQ3 与现有模型（如LASER和mUSE）相比，该方法在低资源语言上的性能如何？
• RQ4 与采用多任务或对比目标训练的模型相比，该方法在多语言偏差方面减少的程度如何？
• RQ5 该方法是否能通过单一统一的学生模型架构高效扩展至400多种语言？

主要发现

• 与LASER相比，该方法在低资源语言上准确率最高提升40个百分点，表现出强大的迁移性能。
• 学生模型成功继承了教师模型的向量空间特性，如语义聚类和相似性，覆盖多种语言家族。
• 与多任务或对比预训练方法（如mUSE和LaBSE）相比，该方法显著降低了训练复杂度和硬件需求。
• 该方法最小化了语言偏差，表现为在多样化语言对中表现一致，而其他模型则倾向于某些语言组合。
• 该模型在50多种不同语言家族的语言中均表现出良好泛化能力，公开代码支持扩展至400多种语言。
• 基于XLM-RoBERTa的学生模型在性能上优于使用单语BERT权重初始化的模型，原因在于其更优的多语言分词和词汇覆盖。