[论文解读] How much does a word weigh? Weighting word embeddings for word sense induction

Nikolay Arefyev, Pavel Ermolaev+1 more|arXiv (Cornell University)|May 23, 2018

Topic Modeling参考文献 10被引用 11

一句话总结

本论文提出了一种新颖的俄语词义消歧方法，通过加权词嵌入以改善歧义词上下文的聚类效果。该方法采用上下文嵌入的加权平均表示，其在RUSSE'2018的两个数据集上取得第二名成绩，在第三个数据集上取得第三名，显著优于基于词义嵌入的先前最先进基线方法。

ABSTRACT

The paper describes our participation in the first shared task on word sense induction and disambiguation for the Russian language RUSSE'2018 (Panchenko et al., 2018). For each of several dozens of ambiguous words, the participants were asked to group text fragments containing it according to the senses of this word, which were not provided beforehand, therefore the "induction" part of the task. For instance, a word "bank" and a set of text fragments (also known as "contexts") in which this word occurs, e.g. "bank is a financial institution that accepts deposits" and "river bank is a slope beside a body of water" were given. A participant was asked to cluster such contexts in the unknown in advance number of clusters corresponding to, in this case, the "company" and the "area" senses of the word "bank". The organizers proposed three evaluation datasets of varying complexity and text genres based respectively on texts of Wikipedia, Web pages, and a dictionary of the Russian language. We present two experiments: a positive and a negative one, based respectively on clustering of contexts represented as a weighted average of word embeddings and on machine translation using two state-of-the-art production neural machine translation systems. Our team showed the second best result on two datasets and the third best result on the remaining one dataset among 18 participating teams. We managed to substantially outperform competitive state-of-the-art baselines from the previous years based on sense embeddings.

研究动机与目标

• 解决俄语中词义消歧的挑战，其中词义未预先定义，需从上下文中发现。
• 通过基于与目标词相关性的词嵌入加权，提升歧义词上下文的聚类性能。
• 在不同复杂度水平的文本类型（维基百科、网页和词典条目）上评估该方法。
• 在基于词义嵌入的现有最先进基线方法之上实现超越。
• 证明加权嵌入表示在低资源和多语言NLP设置中的有效性。

提出的方法

• 该方法将每个上下文表示为词嵌入的加权平均，其中权重根据其与歧义词的语义相关性进行学习或推导。
• 正向实验采用上下文特定的加权策略，以细化不同词义下歧义词的表示。
• 负向实验利用神经机器翻译系统生成上下文表示，作为替代基线。
• 该方法利用预训练的词嵌入，并在加权表示上应用聚类算法（如k-means）以实现词义消歧。
• 模型在来自维基百科、网页和俄语词典的三个不同数据集上进行训练和评估，涵盖不同文本类型和复杂度。
• 使用标准聚类指标（如V-measure和调整兰德指数）评估性能。

实验结果

研究问题

• RQ1 加权词嵌入能否提升低资源语言（如俄语）的词义消歧质量？
• RQ2 与标准平均方法相比，上下文感知的词嵌入加权在聚类歧义词义方面表现如何？
• RQ3 神经机器翻译系统在多大程度上可作为词义消歧中词义表示的代理？
• RQ4 所提出的方法在维基百科、网页内容和词典定义等多样化文本领域中是否具备泛化能力？
• RQ5 与基于词义嵌入的先前最先进方法相比，该方法表现如何？

主要发现

• 所提方法在RUSSE'2018评估的三个数据集中的两个取得第二名。
• 在剩余一个数据集上，18支参赛团队中排名第三。
• 该方法显著优于先前基于词义嵌入的最先进基线方法。
• 词嵌入的加权平均产生了更具区分性的上下文表示，提升了聚类准确率。
• 该方法在多种文本类型（包括维基百科、网页和词典条目）中表现出强鲁棒性。
• 负向实验中使用神经机器翻译系统获得的基线表现具有竞争力，但正向的加权嵌入方法仍优于它。