[论文解读] A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning

Kunbo Ding, Weijie Liu+7 more|arXiv (Cornell University)|Oct 18, 2022

Topic Modeling被引用 7

一句话总结

本文提出了一种简单而有效的方法——Embedding-Push、Attention-Pull 和 Robust targets，以在不依赖平行语料或双语词典的情况下提升零样本跨语言迁移学习。通过将英语嵌入推向其他语言的聚类，拉近相关词的位置关系，并使用虚拟多语言嵌入，该方法实现了卓越的多语言对齐效果，并在仅使用英语资源的情况下，在零样本跨语言文本分类任务上达到最先进性能。

ABSTRACT

Existing zero-shot cross-lingual transfer methods rely on parallel corpora or bilingual dictionaries, which are expensive and impractical for low-resource languages. To disengage from these dependencies, researchers have explored training multilingual models on English-only resources and transferring them to low-resource languages. However, its effect is limited by the gap between embedding clusters of different languages. To address this issue, we propose Embedding-Push, Attention-Pull, and Robust targets to transfer English embeddings to virtual multilingual embeddings without semantic loss, thereby improving cross-lingual transferability. Experimental results on mBERT and XLM-R demonstrate that our method significantly outperforms previous works on the zero-shot cross-lingual text classification task and can obtain a better multilingual alignment.

研究动机与目标

• 为解决零样本跨语言迁移在低资源语言中因依赖昂贵平行语料或双语词典而受到的限制。
• 通过减少多语言模型中高资源语言与低资源语言之间的嵌入聚类差距，提升跨语言迁移能力。
• 开发一种方法，增强在无目标语言指定情况下的跨多种语言的鲁棒性与对齐性。
• 仅使用仅含英语的训练数据，实现有效的零样本迁移，使其适用于低资源和少数语言。

提出的方法

• Embedding-Push (EPT) 将英语词嵌入推向其他语言的聚类，以减少语言间的嵌入差距。
• Attention-Pull (APT) 保持词嵌入之间相对位置关系，以在迁移过程中维持语义一致性。
• Robust targets 引入虚拟多语言嵌入（VME），在嵌入空间中定义一个覆盖跨语言语义相似词的鲁棒区域。
• 该方法在英语数据上使用同义词增强生成增强样本，随后使用三个目标训练模型。
• 模型通过在原始输入流与增强输入流之间共享权重进行训练，确保表示学习的一致性。
• 该方法应用于 mBERT 和 XLM-R，无需平行数据或双语词典，完全依赖英语资源。

实验结果

研究问题

• RQ1 是否可以在不依赖平行语料或双语词典的情况下提升零样本跨语言迁移？
• RQ2 如何减少多语言模型中语言间嵌入聚类差距以提升迁移能力？
• RQ3 同义词增强与鲁棒区域学习在低资源设置下能在多大程度上增强多语言对齐？
• RQ4 将嵌入推向其他语言聚类并拉近注意力模式是否能提升跨语言性能？
• RQ5 仅使用单一源语言（英语）的方法是否能在无语言特定调优的情况下有效泛化至多种多样的语言？

主要发现

• 所提方法在 XNLI 零样本跨语言文本分类基准上达到最先进性能，优于 mBERT 和 XLM-R 上的先前方法。
• 仅使用英语数据，该方法将 mBERT 的平均 XNLI 准确率提升至 68.4，显著优于基线和先前方法。
• T-SNE 可视化结果证实，EPT 选择性地将同义词从其原始位置推开，同时保持语义结构。
• Attention-Pull 优于 Sentence Representation Pull (SRPT)，后者倾向于偏向英语类语言，损害对差异较大语言的迁移效果。
• 该方法对同义词词典大小具有鲁棒性，但当词典缩小至原始大小的 25% 时性能会下降。
• 使用德语或俄语作为额外源语言可进一步提升性能，表明该方法能从多样化高资源语言输入中获益。