[论文解读] Learning Crosslingual Word Embeddings without Bilingual Corpora

Long Duong, Hiroshi Kanayama+3 more|arXiv (Cornell University)|Jun 30, 2016

Natural Language Processing Techniques参考文献 23被引用 18

一句话总结

该论文提出了一种新颖的方法，仅使用单语语料和高覆盖率双语词典来学习跨语言词嵌入，避免了对平行语料或可比双语语料的需求。通过采用一种类似期望最大化（EM）的算法，根据上下文选择翻译，并通过多个词典条目建模多义性，该模型在双语词典归纳任务上达到最先进性能，在单语相似性与跨语言文档分类任务上也表现出色。

ABSTRACT

Crosslingual word embeddings represent lexical items from different languages in the same vector space, enabling transfer of NLP tools. However, previous attempts had expensive resource requirements, difficulty incorporating monolingual data or were unable to handle polysemy. We address these drawbacks in our method which takes advantage of a high coverage dictionary in an EM style training algorithm over monolingual corpora in two languages. Our model achieves state-of-the-art performance on bilingual lexicon induction task exceeding models using large bilingual corpora, and competitive results on the monolingual word similarity and cross-lingual document classification task.

研究动机与目标

• 解决以往依赖平行或可比双语语料的跨语言词嵌入方法所面临的高资源需求与可扩展性有限的问题。
• 通过在训练过程中为每个词建模多个翻译选项，有效应对跨语言嵌入中的多义性挑战。
• 仅利用单语语料和高覆盖率双语词典，实现对低资源语言的有效跨语言迁移。
• 通过引入基于正则化的策略，联合源语言与目标语言的词嵌入矩阵，同时提升单语与跨语言性能。
• 证明所提出方法在双语词典归纳任务上达到最先进结果，同时在单语与跨语言下游任务中保持竞争力。

提出的方法

• 仅将双语词典（Panlex）作为双语信号的唯一来源，使模型在无需平行句子的情况下学习跨语言对应关系。
• 应用一种类似期望最大化（EM）的训练流程，为每个词选择最符合上下文的翻译，并通过多个翻译选项显式建模多义性。
• 将连续词袋（CBOW）模型扩展为仅使用单语语料，联合训练源语言与目标语言的单语嵌入。
• 引入一种正则化技术，在训练过程中结合源语言与目标语言的词嵌入矩阵，并引入可学习超参数 δ 以平衡两者。
• 在最终的词嵌入矩阵上评估多种组合策略——插值、拼接与正则化，以优化在单语与跨语言任务上的性能。
• 采用联合训练目标，同时预测目标词及其翻译，使模型能够学习跨语言对齐的表示。

实验结果

研究问题

• RQ1 能否在无需平行或可比双语语料的情况下，有效学习跨语言词嵌入？
• RQ2 仅使用单语数据和词典，如何在跨语言嵌入中正确建模多义性？
• RQ3 不同的词嵌入组合策略对单语与跨语言性能有何影响？
• RQ4 高覆盖率双语词典能否在无需大规模双语语料的情况下，有效实现双语词典归纳任务的最先进结果？
• RQ5 所提出的基于正则化的源语言与目标语言嵌入组合方法，是否能同时提升单语与跨语言评估任务的性能？

主要发现

• 所提模型在双语词典归纳（BLI）任务上达到最先进性能，在英语-意大利语基准上达到 78.9% 的 recall@1 与 90.5% 的 recall@5。
• 在单语词语相似性（WS-353）任务上，该模型显著优于先前方法，当使用目标语言嵌入的正则化策略时，在 WS-en 基准上达到 73.0 的得分。
• 在跨语言文档分类（CLDC）任务上，模型平均准确率达到 81.5%，优于大多数基线模型，并与使用大型平行语料（如 Europarl）的模型性能相当。
• 采用 δ=0.01 且在目标语言嵌入（U）上输出的正则化组合方法，在所有评估任务中均取得最佳整体性能。
• 所提出的词嵌入组合技术具有通用性，不仅能提升跨语言性能，还能改善单语词语嵌入，展现出超越跨语言任务的广泛适用性。
• 该模型在无需大规模平行双语语料的情况下，于 CLDC 任务上取得具有竞争力的结果，适用于缺乏此类数据的低资源语言对。