[论文解读] Beyond Offline Mapping: Learning Cross Lingual Word Embeddings through Context Anchoring

Aitor Ormazabal, Mikel Artetxe+3 more|arXiv (Cornell University)|Dec 31, 2020

Topic Modeling参考文献 43被引用 7

一句话总结

该论文提出了一种新颖的方法，通过固定目标语言的词嵌入并利用翻译后的上下文词进行上下文锚定，学习与之对齐的源语言词嵌入，从而实现跨语言词嵌入的联合学习。与传统的映射方法不同，该方法避免了因独立训练不同语言的词嵌入而产生的结构不匹配问题，在双语词典归纳任务上达到最先进性能，并在XNLI任务上取得具有竞争力的结果，即使初始词典较弱且除启发式方法外无任何平行语料。

ABSTRACT

Recent research on cross-lingual word embeddings has been dominated by unsupervised mapping approaches that align monolingual embeddings. Such methods critically rely on those embeddings having a similar structure, but it was recently shown that the separate training in different languages causes departures from this assumption. In this paper, we propose an alternative approach that does not have this limitation, while requiring a weak seed dictionary (e.g., a list of identical words) as the only form of supervision. Rather than aligning two fixed embedding spaces, our method works by fixing the target language embeddings, and learning a new set of embeddings for the source language that are aligned with them. To that end, we use an extension of skip-gram that leverages translated context words as anchor points, and incorporates self-learning and iterative restarts to reduce the dependency on the initial dictionary. Our approach outperforms conventional mapping methods on bilingual lexicon induction, and obtains competitive results in the downstream XNLI task.

研究动机与目标

• 解决由于在不同语言中独立训练单语词嵌入而引起的离线映射方法中结构不匹配的问题。
• 开发一种不依赖平行语料或强双语监督的跨语言词嵌入方法。
• 通过利用自学习和迭代重启，提升低资源跨语言设置下的鲁棒性与性能。
• 证明自学习与锚定技术在跨语言词嵌入学习中可超越主流映射范式，具有有效性。

提出的方法

• 使用标准的跳字模型加负采样（SGNS）在单语目标语料上固定目标语言的词嵌入。
• 通过将源语言输出向量替换为对应目标语言的翻译向量，利用其作为锚定点，学习源语言的词嵌入。
• 扩展SGNS以通过翻译后的上下文词引入跨语言监督，实现在无直接词对词映射的情况下实现对齐。
• 使用迭代自学习在训练过程中重新诱导双语词典，以提升初始种子词典的质量。
• 应用迭代重启以降低对初始化的敏感性，并提高收敛的鲁棒性。
• 初始词典通过启发式方法（如相同词汇、数字）或现有无监督映射方法（如VecMap）构建。

实验结果

研究问题

• RQ1 是否可以在不依赖独立训练的单语词嵌入之间映射的前提下，有效学习跨语言词嵌入？
• RQ2 使用翻译后的上下文词进行上下文锚定，与传统线性映射相比，在鲁棒性与准确性方面表现如何？
• RQ3 当从弱种子词典出发时，自学习与迭代重启能在多大程度上提升性能？
• RQ4 所提出的方法是否在内在评估（双语词典归纳）与外在评估（XNLI）任务上均优于当前最先进无监督映射方法？

主要发现

• 在MUSE基准的双语词典归纳任务上，该方法取得了63.9的P@1得分，优于VecMap（62.8）和联合学习（35.7）（使用过滤后的词典）。
• 即使从标准答案中移除相同词汇，该方法仍比次优系统平均高出1.1分，证实其性能不仅依赖于复制人工制品，具有更强的鲁棒性。
• 该方法在XNLI零样本迁移任务上表现优异，展示了在下游NLP应用中的竞争力。
• 错误分析显示，该方法有强烈倾向复制相同词汇（如命名实体），这通常正确且有助于性能提升，但该方法在非此类情况下的泛化能力也表现良好。
• 消融实验证实，自学习与迭代重启显著提升了性能，尤其是在从弱初始词典出发时效果更明显。
• 该方法在翻译命名实体和专有名词方面尤为有效，此时复制行为在语义上是合理的，且在标准答案不完整时仍表现良好。