[论文解读] Analyzing the Limitations of Cross-lingual Word Embedding Mappings

Aitor Ormazabal, Mikel Artetxe+3 more|arXiv (Cornell University)|Jun 12, 2019

Topic Modeling参考文献 21被引用 6

一句话总结

本文在相同条件下，使用平行语料库对比了联合学习与离线映射在跨语言词嵌入中的表现。研究发现，联合学习能生成更具同构性的嵌入，降低对中心度（hubness）的敏感性，并在双语词典归纳任务中优于映射方法，揭示了尽管映射方法对监督需求较低，但其内在方法仍存在根本性局限。

ABSTRACT

Recent research in cross-lingual word embeddings has almost exclusively focused on offline methods, which independently train word embeddings in different languages and map them to a shared space through linear transformations. While several authors have questioned the underlying isomorphism assumption, which states that word embeddings in different languages have approximately the same structure, it is not clear whether this is an inherent limitation of mapping approaches or a more general issue when learning cross-lingual embeddings. So as to answer this question, we experiment with parallel corpora, which allows us to compare offline mapping to an extension of skip-gram that jointly learns both embedding spaces. We observe that, under these ideal conditions, joint learning yields to more isomorphic embeddings, is less sensitive to hubness, and obtains stronger results in bilingual lexicon induction. We thus conclude that current mapping methods do have strong limitations, calling for further research to jointly learn cross-lingual embeddings with a weaker cross-lingual signal.

研究动机与目标

• 确定跨语言词嵌入映射所依赖的同构性假设，是映射方法本身的问题，还是由于语言差异导致的普遍性问题。
• 在使用平行语料库的相同训练条件下，对比联合学习与离线映射方法。
• 评估语言和类型学差异对嵌入同构性、中心度以及双语词典归纳性能的影响。
• 评估观察到的映射方法局限性是否源于该方法的本质，还是源于单语嵌入的独立训练。

提出的方法

• 使用 word2vec 在单语语料库上训练每种语言的 300 维 skip-gram 词嵌入。
• 应用无监督的 VecMap，通过线性变换将单语嵌入映射到共享空间。
• 扩展 skip-gram 模型，利用平行句子对联合训练跨语言嵌入。
• 使用特征值相似性评估来衡量语言特定嵌入空间之间的同构性。
• 通过所有查询中频繁出现的最近邻数量来测量中心度。
• 应用 CSLS（跨模态相似性学习）以减少中心度，并评估其对两种方法的影响。

实验结果

研究问题

• RQ1 当在相同平行语料库上训练时，联合学习是否会产生比离线映射更具同构性的跨语言嵌入空间？
• RQ2 语言和类型学差异（如芬兰语-英语）如何影响映射与联合学习方法的性能与鲁棒性？
• RQ3 与联合学习相比，中心度问题在映射方法中严重程度如何？
• RQ4 CSLS 在映射还是联合学习设置中更有效地缓解中心度问题？
• RQ5 在理想条件下，联合学习是否能在双语词典归纳任务中实现优于离线映射的性能？

主要发现

• 联合学习产生的嵌入空间同构性显著优于离线映射，特征值相似性在不同语言对之间介于 26.5 到 32.8 之间。
• 映射方法在芬兰语-英语对上的同构性显著较低（26.5），而其他对为 30.0–32.8，表明其对类型学差异敏感。
• 联合学习对中心度的敏感性更低，尤其在芬兰语-英语对中，其中中心度差异最大。
• 离线映射从 CSLS 中获益更多，显著降低了中心度，而由于联合学习的基线中心度本就较低，CSLS 反而产生了负面影响。
• 在双语词典归纳任务中，联合学习优于离线映射，使用最近邻方法在 Eparl 数据集上，芬兰语-英语对的准确率分别为 26.3% 和 65.2%。
• 结果表明，映射方法所表现出的局限性是其方法本质所致，而非跨语言表征学习的普遍性问题。