[论文解读] Massively Multilingual Sentence Embeddings for Zero-Shot Cross-Lingual Transfer and Beyond

Mikel Artetxe, Holger Schwenk|arXiv (Cornell University)|Dec 26, 2018

Topic Modeling参考文献 70被引用 753

一句话总结

该论文提出一种单一共享的BiLSTM编码器与共享的BPE词表，用于学习93种语言（涵盖30个语系和28种书写系统）的固定长度句子嵌入。该模型在平行语料上进行端到端训练，并使用辅助解码器，仅依赖英语标注数据即可实现零样本跨语言迁移，且无需微调，在XNLI、MLDoc、BUCC以及一项新的112语言相似度搜索基准测试中均取得最先进性能，即使在低资源语言上也表现出色。

ABSTRACT

We introduce an architecture to learn joint multilingual sentence representations for 93 languages, belonging to more than 30 different families and written in 28 different scripts. Our system uses a single BiLSTM encoder with a shared BPE vocabulary for all languages, which is coupled with an auxiliary decoder and trained on publicly available parallel corpora. This enables us to learn a classifier on top of the resulting embeddings using English annotated data only, and transfer it to any of the 93 languages without any modification. Our experiments in cross-lingual natural language inference (XNLI dataset), cross-lingual document classification (MLDoc dataset) and parallel corpus mining (BUCC dataset) show the effectiveness of our approach. We also introduce a new test set of aligned sentences in 112 languages, and show that our sentence embeddings obtain strong results in multilingual similarity search even for low-resource languages. Our implementation, the pre-trained encoder and the multilingual test set are available at https://github.com/facebookresearch/LASER

研究动机与目标

• 开发一种通用的、与语言无关的句子嵌入模型，支持在大量语言间实现零样本跨语言迁移。
• 通过在多语言数据上联合训练以克服单语模型的局限性，提升低资源语言的性能。
• 在无需模型微调的情况下，实现从英语标注数据到93种语言中任意语言的有效迁移学习。
• 评估模型在多样化自然语言处理任务及低资源语言场景下的泛化能力。
• 引入一项新的112种语言的多语言相似度搜索基准，用于评估跨语言句子表示。

提出的方法

• 在所有93种语言中使用单一共享的双向长短期记忆网络（BiLSTM）编码器与共享的字节对编码（BPE）词表。
• 在公开可用的平行语料上，采用序列到序列架构与辅助解码器，对编码器进行端到端训练。
• 训练完成后丢弃解码器，将编码器的最终隐藏状态作为固定长度的句子嵌入。
• 对BiLSTM的隐藏状态应用最大池化操作，生成固定大小的向量表示。
• 结合skip-thought、自然语言推理（NLI）和双语语料挖掘任务的多任务学习目标，以提升模型鲁棒性。
• 使用语言标识符（Lid）标记来控制编码器的输入语言，从而实现多语言泛化。

实验结果

研究问题

• RQ1 一个共享的BiLSTM编码器与共享的BPE词表是否能有效学习93种多样化语言的句子嵌入？
• RQ2 在多种语言上联合训练在多大程度上提升了零样本跨语言迁移性能，特别是对低资源语言？
• RQ3 在无需微调的情况下，该模型在跨语言自然语言推理、文档分类和双语语料挖掘等下游任务上的表现如何？
• RQ4 当在相关语言上进行训练时，模型是否能泛化到训练过程中未见过的语言？
• RQ5 与现有方法相比，该模型在零样本迁移和多语言相似度搜索方面表现如何？

主要发现

• 在XNLI基准测试中，该模型在跨语言迁移任务上达到69.92%的准确率，性能优于先前方法，达到最先进水平。
• 在MLDoc数据集上，该模型在无需任何微调的情况下，实现了72.79%的跨语言文档分类准确率。
• 在BUCC数据集上的双语语料挖掘任务中，该模型取得了92.83%的F1分数，表明其在句子对齐任务中表现优异。
• 在新引入的112语言Tatoeba相似度搜索基准测试中，112种语言中有55种语言的错误率低于20%，其中37种语言低于5%。
• 消融实验表明，使用全部93种语言进行训练的性能优于仅使用18种评估语言的训练设置，表明联合多语言学习具有显著优势。
• 该模型能有效泛化到未见过的语言，尤其在低资源语言上表现良好，说明即使目标语言无任何训练数据，模型依然有效。