[论文解读] A Resource-Free Evaluation Metric for Cross-Lingual Word Embeddings Based on Graph Modularity

Yoshinari Fujinuma, Jordan Boyd‐Graber+1 more|arXiv (Cornell University)|Jun 5, 2019

Topic Modeling参考文献 54被引用 21

一句话总结

本文提出了一种无需资源的跨语言词嵌入内在评估指标，基于图模块化度量，用于衡量不同语言的词在嵌入空间中的混合程度。该方法从词向量构建k近邻图，并通过模块化度量检测语言特异性聚类；其与下游任务性能呈强负相关，可提升无监督跨语言词嵌入选择的效果，尤其在低资源、远距离语言对上表现更优。

ABSTRACT

Cross-lingual word embeddings encode the meaning of words from different languages into a shared low-dimensional space. An important requirement for many downstream tasks is that word similarity should be independent of language - i.e., word vectors within one language should not be more similar to each other than to words in another language. We measure this characteristic using modularity, a network measurement that measures the strength of clusters in a graph. Modularity has a moderate to strong correlation with three downstream tasks, even though modularity is based only on the structure of embeddings and does not require any external resources. We show through experiments that modularity can serve as an intrinsic validation metric to improve unsupervised cross-lingual word embeddings, particularly on distant language pairs in low-resource settings.

研究动机与目标

• 开发一种无需外部语言资源的跨语言词嵌入内在评估指标。
• 解决低资源及低资源语言设置下缺乏可靠内在指标的问题。
• 通过将模块化度量作为验证标准，提升无监督跨语言词嵌入模型的鲁棒性。
• 证明模块化度量与现有内在指标（如QVEC-CCA和CSLS）相比，能捕捉互补信息。

提出的方法

• 利用向量相似度从跨语言词嵌入中构建k近邻图。
• 应用网络科学中的模块化度量，量化图中语言特异性聚类的强度。
• 将模块化度量用作嵌入质量的代理指标：模块化度越低，表示语言混合越好，对下游任务的潜在效用越高。
• 采用随机投影树高效计算大规模嵌入的k近邻。
• 通过将模块化度量分数与下游任务（如文档分类和双语词汇归纳）的性能相关联，验证该指标的有效性。
• 在无监督模型（如MUSE）训练过程中，将模块化度量用作验证指标，以选择更优的映射矩阵。

实验结果

研究问题

• RQ1 模块化度量能否在不依赖外部语言资源的前提下，作为跨语言词嵌入的可靠内在评估指标？
• RQ2 模块化度量是否在多种语言对（包括低资源和远距离语言对）上与下游任务性能保持相关性？
• RQ3 与现有内在指标（如QVEC-CCA和CSLS）相比，模块化度量的预测能力如何？
• RQ4 模块化度量能否有效用作验证指标，以改进无监督跨语言词嵌入模型？
• RQ5 模块化度量是否捕捉到了其他内在指标未涵盖的独特信息？

主要发现

• 模块化度量与下游任务性能呈中等到强负相关，跨语言文档分类任务中R²值最高达0.797。
• 将模块化度量用作验证指标可提升MUSE在远距离语言对上的性能，英语-日语的P@1提升18.00%，英语-中文的P@1提升5.74%。
• 消融实验证明，若省略模块化度量，预测准确率下降最大（使用全部特征时R² = 0.814），表明其捕捉了独特且互补的信息。
• 计算模块化度量时最优的近邻数为k = 3，因为k值过高会降低与下游性能的相关性。
• 在缺乏外部资源的低资源设置下，该指标在预测下游性能方面优于其他内在指标。
• 即使应用于完全无平行数据训练的嵌入，该指标依然有效，证明其在真正无监督设置下的实用性。