[论文解读] Making Sense of Word Embeddings

Maria Pelevina, Nikolay Arefyev+2 more|arXiv (Cornell University)|Aug 10, 2017

Topic Modeling参考文献 34被引用 14

一句话总结

本文提出了一种新颖的方法，通过聚类从预训练词嵌入中提取的词语的自我网络（ego-networks），学习词义嵌入，从而实现无监督词义消歧（WSD）。该方法在无需标注数据或预先定义的词义词典的情况下，自动构建词义词典，其性能在SemEval基准测试中与当前最先进的无监督WSD系统相当。

ABSTRACT

We present a simple yet effective approach for learning word sense embeddings. In contrast to existing techniques, which either directly learn sense representations from corpora or rely on sense inventories from lexical resources, our approach can induce a sense inventory from existing word embeddings via clustering of ego-networks of related words. An integrated WSD mechanism enables labeling of words in context with learned sense vectors, which gives rise to downstream applications. Experiments show that the performance of our method is comparable to state-of-the-art unsupervised WSD systems.

研究动机与目标

• 开发一种无需依赖词义标注语料或预定义词义词典的多原型词义嵌入学习方法。
• 仅利用现有词嵌入和依存句法分析实现词义消歧。
• 在标准WSD基准上评估该方法，并与当前最先进的无监督系统进行比较。
• 证明通过聚类自我网络获得的词义嵌入可达到领先无监督WSD方法的性能。

提出的方法

• 该方法利用句法分析语料中的依存关系，在目标词周围构建自我网络，其中目标词为‘自我’（ego），其句法依存词为‘他者’（alter）。
• 对自我网络应用聚类，将相关词语分组，形成候选词义簇。
• 通过计算簇内词嵌入的加权平均值学习词义向量，采用基于相似度的加权策略，突出相关邻居的影响。
• 通过余弦相似度将上下文中的词语映射到最相似的词义向量，实现词义消歧。
• 该方法支持从零开始的词义词典构建（词义词典诱导）以及对已有词典（如WordNet或TWSI）的复用。
• 在SemEval-2013 Task 13和TWSI数据集上，采用多种指标（Jaccard、Fuzzy NMI、WNDCG等）对方法进行评估。

实验结果

研究问题

• RQ1 在无标注数据的情况下，对预训练词嵌入的自我网络进行聚类，能否有效诱导出有意义的词义词典？
• RQ2 所提出的WSD系统在标准基准上的性能与当前最先进的无监督WSD系统相比如何？
• RQ3 在词义诱导中，基于依存关系的相似度（JBT）是否优于词嵌入相似度（w2v）？
• RQ4 当与所提方法结合时，预存在的词义词典（如TWSI）在多大程度上能提升WSD性能？

主要发现

• 所提方法的最佳配置在TWSI数据集上取得了0.615的F1分数，优于基于w2v和JBT的基线模型。
• 使用TWSI词义词典的模型显著优于w2v和JBT基线，表明精确的词典能显著提升性能。
• 在SemEval-2013数据集上，该方法的性能与顶级无监督WSD系统相当，F1分数在不同配置下介于0.451至0.494之间。
• AdaGram（一种先进的非参数方法）在部分指标上表现相似或略优，但所提方法在所有评估指标上均保持了竞争力。
• 没有任何无监督WSD方法（包括本文提出的方法）能始终超越最常见词义基线，凸显了无监督词义消歧的挑战。
• 该方法仅依赖预训练词嵌入即可成功学习词义嵌入，无需微调或标注数据，且支持词义词典的诱导与复用。