[论文解读] Cross-lingual Models of Word Embeddings: An Empirical Comparison

Shyam Upadhyay, Manaal Faruqui+2 more|arXiv (Cornell University)|Apr 1, 2016

Topic Modeling参考文献 34被引用 44

一句话总结

本文对四种跨语言词嵌入模型——BiSkip、BiCVM、BiCCA 和 BiVCD——进行了系统的实证比较，这些模型所需的跨语言监督程度各不相同，涵盖四组语言对以及多种内在和外在任务。主要发现是，使用昂贵监督（如词或句子对齐）的模型在语义任务上表现优于其他模型，而使用更简单、更便宜的监督（如双语词典或可比文档）的模型在外在句法任务（如依存句法分析）中表现也颇具竞争力。

ABSTRACT

Despite interest in using cross-lingual knowledge to learn word embeddings for various tasks, a systematic comparison of the possible approaches is lacking in the literature. We perform an extensive evaluation of four popular approaches of inducing cross-lingual embeddings, each requiring a different form of supervision, on four typographically different language pairs. Our evaluation setup spans four different tasks, including intrinsic evaluation on mono-lingual and cross-lingual similarity, and extrinsic evaluation on downstream semantic and syntactic applications. We show that models which require expensive cross-lingual knowledge almost always perform better, but cheaply supervised models often prove competitive on certain tasks.

研究动机与目标

• 为跨语言词嵌入模型在内在和外在任务中的系统性、无偏见评估提供支持。
• 比较需要不同形式跨语言监督的模型——从昂贵的词/句子对齐到廉价的双语词典或可比文档。
• 评估监督形式如何影响在单语和跨语言相似性、文档分类以及依存句法分析任务上的性能表现。
• 将多样化的跨语言嵌入方法统一于一个共同的算法框架下，以实现更清晰的比较。
• 识别在特定 NLP 任务中，哪种监督类型在成本与性能之间提供了最佳权衡。

提出的方法

• 训练四种跨语言词嵌入模型：BiSkip（基于词对齐的平行语料）、BiCVM（基于句子对齐的语料）、BiCCA（基于双语词典）和 BiVCD（基于可比文档）。
• 采用统一的优化框架，联合学习嵌入向量，以最小化单语分布损失和跨语言对齐损失。
• 在 BiSkip 中应用词级对齐监督，在 BiCVM 中应用句级对齐监督，以实现跨语言向量空间的对齐。
• 在 BiCCA 中使用典型相关分析（CCA）基于双语词典对齐词向量，最小化翻译对之间的距离。
• 在 BiVCD 中利用文档级相似性，基于无显式对齐的可比句子对对齐语言特定的向量。
• 在四项任务上评估模型：单语和跨语言词相似性、跨语言文档分类，以及跨语言依存句法分析。

实验结果

研究问题

• RQ1 不同形式的跨语言监督如何影响内在和外在任务中诱导出的词嵌入质量？
• RQ2 哪种监督类型在语义任务（如跨语言文档分类和词相似性）中表现最佳？
• RQ3 使用较弱监督（如双语词典）的模型与使用较强监督（如词对齐）的模型在句法任务（如依存句法分析）中的表现如何比较？
• RQ4 监督形式在多大程度上影响共享向量空间中翻译对和语义相似词之间的几何接近度？
• RQ5 是否可以使用统一的算法框架来表示多样化的跨语言嵌入模型，以实现公平比较？

主要发现

• 需要昂贵监督（如使用词对齐的 BiSkip）的模型在跨语言语义任务（如文档分类和词相似性）中始终优于其他模型。
• 在跨语言文档分类任务中，BiSkip 在英法语对上的 F1 得分达到最高，为 85.2%，显著优于单语基线模型。
• 在跨语言依存句法分析任务中，使用更便宜监督的模型（如 BiCCA 和 BiVCD）表现几乎与 BiSkip 相当，其中 BiVCD 在英法语对上达到了 78.1% 的 UAS。
• 由于更强的对齐信号，BiSkip 和 BiCVM 在主成分分析（PCA）可视化中显示出翻译对之间最紧密的向量接近度。
• BiCCA 和 BiVCD 在区分反义词（如 peace/war）方面更有效，而 BiSkip 和 BiCVM 由于在平行句中频繁共现，使这些词对被更紧密地聚类。
• 在单语词相似性任务中，BiVCD 和 BiCCA 的表现与 BiSkip 相差仅 2–3 分，表明即使监督极少，其泛化能力依然很强。