[论文解读] Massively Multilingual Word Embeddings

Waleed Ammar, George Mulcaire+4 more|arXiv (Cornell University)|Feb 5, 2016

Natural Language Processing Techniques参考文献 33被引用 282

一句话总结

介绍基于字典的方法来学习不依赖平行数据的59种语言的多语言词嵌入，并提出 multi qvec-cca 以改进与下游任务的内在评估相关性。

ABSTRACT

We introduce new methods for estimating and evaluating embeddings of words in more than fifty languages in a single shared embedding space. Our estimation methods, multiCluster and multiCCA, use dictionaries and monolingual data; they do not require parallel data. Our new evaluation method, multiQVEC-CCA, is shown to correlate better than previous ones with two downstream tasks (text categorization and parsing). We also describe a web portal for evaluation that will facilitate further research in this area, along with open-source releases of all our methods.

研究动机与目标

• 需要在不依赖大型平行语料的前提下实现跨多语言的共享多语言词嵌入的需求的动机。
• 提出两种基于字典的估计方法（multiCluster 和 multiCCA），以利用单语数据和双语词典训练多语言嵌入。
• 改编并改进内在评估（多重 qvec-cca），以在多语言环境中更好地与下游任务相关。
• 开发一个可访问的网页门户和开源工具，以复现和扩展多语言嵌入研究。

提出的方法

• 使用单语语料和双语词典为跨语言的单词定义一个共享嵌入空间（不需要平行数据）。
• MultiCluster：通过翻译图将嵌入分解为多语言簇，用簇ID替换单词，并在多语言簇序列上训练类似单语言的skipgram。
• MultiCCA：通过投影非英语的单语嵌入进入以英语为中心的空间，使用语言特定的投影矩阵，将双语CCA扩展到多语言设置。
• MultiSkip：一个基于并行数据的基线，与翻译不变性变体在不同语言之间进行对比。
• Multi qvec 和 multi qvec-cca 将单语评估（qvec）扩展到多语言设置，其中 qvec-cca 使用典型相关分析实现基线不变性。
• 评估数据和策略包括内在任务（词相似性、单词翻译）和外在任务（多语言文档分类、多语言解析）。
• 提供一个网页门户以下载数据、运行评估并上传嵌入用于基准测试。

实验结果

研究问题

• RQ1 我们是否可以在不依赖平行语料的情况下，为数十种语言估计出高质量的多语言词嵌入？
• RQ2 字典基方法（multiCluster、multiCCA）在内在和外在评估指标上与基线并行数据（multiSkip）相比有何差异？
• RQ3 新内在指标（multi qvec、multi qvec-cca）是否更好地预测对下游多语言任务的性能？
• RQ4 通过共用的多语言空间进行翻译是否促进了文档分类和解析等任务的跨语言迁移？

主要发现

• MultiCCA 在59语言设定下的九项评估指标上始终优于 multiCluster。
• 字典基方法（multiCluster、multiCCA）在多项指标上与并行数据基线相当或优于，尤其是在从大规模多语言数据学习时。
• 内在指标 multi qvec 和 multi qvec-cca 与下游任务的相关性比传统的跨语言词相似性或词翻译指标更强。
• multi qvec-cca 提供一个单一、旋转不变的相关性分数，比 qvec 更好地与下游性能对齐。
• 评估门户和代码发布实现了多语言嵌入的可复现性和更广泛的基准测试。