[论文解读] Language classification from bilingual word embedding graphs

Steffen Eger, Armin Hoenen+1 more|TUbilio (Technical University of Darmstadt)|Jul 18, 2016

Topic Modeling参考文献 35被引用 4

一句话总结

本文提出使用双语词嵌入构建针对单语评估和语言分类的语言特定语义图，表明语义任务中的性能与第二语言与目标语言的相似性密切相关。主要发现表明，语义语言相似性受语言谱系关系和语言接触的共同影响，不同第二语言所诱导的联合嵌入空间在语义结构上存在显著差异。

ABSTRACT

We study the role of the second language in bilingual word embeddings in monolingual semantic evaluation tasks. We find strongly and weakly positive correlations between down-stream task performance and second language similarity to the target language. Additionally, we show how bilingual word embeddings can be employed for the task of semantic language classification and that joint semantic spaces vary in meaningful ways across second languages. Our results support the hypothesis that semantic language similarity is influenced by both structural similarity as well as geography/contact.

研究动机与目标

• 探究双语词嵌入中第二语言的选择如何影响单语语义评估任务的性能。
• 探索是否可通过将语言投影到共同的枢纽语言上，利用双语词嵌入实现语义语言分类。
• 评估语言谱系和地理接触对多语言嵌入空间中语义相似性的影响。
• 确定语义语言相似性是否更可能由语言家族关系还是语言接触模式所预测。

提出的方法

• 从双语词嵌入构建加权网络，其中节点代表枢纽语言中的词语，边权重反映从联合语义空间中推导出的语义相似性得分。
• 使用一个枢纽语言（例如英语、德语或意大利语），并通过双语嵌入模型将多种第二语言投影到其语义空间中。
• 通过双语词向量上的余弦相似度计算枢纽语言词语之间的语义相似性，基于所使用的第二语言形成语言特定的图结构。
• 通过比较这些语言特定的图来评估语言之间的语义距离，将每个第二语言视为联合空间中语义偏差的独立来源。
• 采用基于图的比较方法，根据联合空间中诱导出的语义结构对语言进行分类。
• 使用Europarl平行语料库进行验证，并在单语语义相似性任务上评估性能。

实验结果

研究问题

• RQ1 双语词嵌入在单语语义评估任务中的性能如何随第二语言的选择而变化？
• RQ2 是否可以有效利用双语词嵌入通过枢纽语言实现语义语言分类？
• RQ3 语义语言相似性在多大程度上由语言谱系关系决定，而非地理接触？
• RQ4 由不同第二语言诱导出的联合语义空间在结构和语义特性上存在哪些差异？

主要发现

• 在单语语义评估性能与第二语言到目标语言的相似性之间，发现了强正相关和弱正相关，表明第二语言的选择显著影响下游任务的性能。
• 通过在共享枢纽空间中基于相似性得分构建语言特定的语义图，双语词嵌入可有效用于语义语言分类。
• 由不同第二语言诱导出的联合语义空间在有意义且非随机的方式下存在差异，反映出每种语言引入的特定语义偏差。
• 研究结果支持语义语言相似性受语言谱系关系和语言接触共同影响的假设，且接触效应有时会超过家族关系的影响。
• 本研究表明，多语言嵌入空间并非中立；它们会继承第二语言的语义特征，从而影响单语任务的结果。