[论文解读] Improving Word Translation via Two-Stage Contrastive Learning

Yaoyiran Li, Fangyu Liu+3 more|arXiv (Cornell University)|Mar 15, 2022

Natural Language Processing Techniques参考文献 63被引用 8

一句话总结

该论文提出了一种两阶段对比学习框架，以提升双语词典归纳（BLI）性能，首先通过自学习的对比学习（C1）对静态词嵌入进行优化，然后利用C1输出作为负例，对mBERT进行基于对比学习目标的微调（C2）。该方法实现了最先进性能，在112组不同语言对的BLI设置中，Precision@1最高提升了+10分。

ABSTRACT

Word translation or bilingual lexicon induction (BLI) is a key cross-lingual task, aiming to bridge the lexical gap between different languages. In this work, we propose a robust and effective two-stage contrastive learning framework for the BLI task. At Stage C1, we propose to refine standard cross-lingual linear maps between static word embeddings (WEs) via a contrastive learning objective; we also show how to integrate it into the self-learning procedure for even more refined cross-lingual maps. In Stage C2, we conduct BLI-oriented contrastive fine-tuning of mBERT, unlocking its word translation capability. We also show that static WEs induced from the `C2-tuned' mBERT complement static WEs from Stage C1. Comprehensive experiments on standard BLI datasets for diverse languages and different experimental setups demonstrate substantial gains achieved by our framework. While the BLI method from Stage C1 already yields substantial gains over all state-of-the-art BLI methods in our comparison, even stronger improvements are met with the full two-stage framework: e.g., we report gains for 112/112 BLI setups, spanning 28 language pairs.

研究动机与目标

• 通过对比学习增强跨语言映射，提升基于静态词嵌入（WEs）的弱监督双语词典归纳（BLI）方法的性能。
• 通过面向BLI的对比学习微调，解锁多语言语言模型（如mBERT）的词翻译能力。
• 结合经C1优化的静态WEs与经C2微调的mBERT表示，实现更优的BLI性能。
• 探究整合静态WEs与多语言LM表示是否能获得优于单独使用任一方法的BLI结果。

提出的方法

• 在C1阶段，应用对比学习目标，利用真实翻译对作为正例、困难负例作为负例，对静态词嵌入之间的线性跨语言映射进行优化。
• C1框架集成一个自学习循环，通过迭代优化训练词典并使用对比损失重新训练映射，持续改进映射性能。
• 在C2阶段，使用对比学习目标对mBERT进行微调，其中正例为真实翻译对，负例来自C1的输出。
• 最终的词表示通过拼接或组合C1得到的跨语言静态WEs与C2微调后的mBERT表示生成。
• 两个阶段的对比学习均使用对比损失函数，旨在最大化正例对之间的相似性，同时最小化负例对之间的相似性。
• 该框架在8种不同语言的112种语言对的标准化BLI基准上进行了评估，涵盖多种设置。

Figure 1: An illustration of the proposed two-stage BLI approach (see § 2 ). It combines contrastive tuning on both static WEs (C1) and pretrained multilingual LMs (C2), where the static WEs are leveraged for selecting negative examples in contrastive tuning of the LM. The output of C1 and C2 is com

实验结果

研究问题

• RQ1 我们能否在基于静态词嵌入的（弱监督）映射型BLI方法上实现进一步改进？
• RQ2 我们如何能从预训练的多语言语言模型（如mBERT）中提取更有用的跨语言词表示？
• RQ3 通过结合静态词嵌入与多语言语言模型的跨语言表示，是否能够提升BLI性能？

主要发现

• 仅C1阶段在全部112组BLI设置中平均提升了约+8 Precision@1分，在107组设置中实现性能提升。
• 完整的两阶段框架（C1 + C2）在全部112组BLI设置中均实现性能提升，部分语言对的Precision@1最高提升+10分。
• 对于“čvrsto”（克罗地亚语）→“firmly”（英语）等具有挑战性的例子，C2（C1）方法使预测从失败转为成功，将“firmly”在前五名中的排名提高。
• 在HR-EN与IT-EN语言对中，C2（C1）方法始终将“monkeys”、“enzymes”和“peach”等正确翻译排在基线和C1方法之前，显示出更强的语义对齐能力。
• 该方法在多种语言对（包括低资源和差异较大的语言对）中均表现出一致的性能增益，显示出良好的鲁棒性。
• C1生成的静态WEs与C2微调后的mBERT表示的结合显著提升了性能，证实了整合多种跨语言信号源的优势。