[论文解读] A Simple Approach to Learn Polysemous Word Embeddings

Yifan Sun, Nikhil Rao+1 more|arXiv (Cornell University)|Jul 6, 2017

Topic Modeling参考文献 19被引用 8

一句话总结

本文提出了一种简单、线性的方法，通过使用归一化的共现统计量将上下文词表示建模为全局词向量的加权组合，从而学习多义词嵌入。尽管方法简单，该方法在多个无监督多义性评估任务上实现了最先进性能，优于复杂的深度学习模型，且除标准 word2vec 外无需额外训练。

ABSTRACT

Many NLP applications require disambiguating polysemous words. Existing methods that learn polysemous word vector representations involve first detecting various senses and optimizing the sense-specific embeddings separately, which are invariably more involved than single sense learning methods such as word2vec. Evaluating these methods is also problematic, as rigorous quantitative evaluations in this space is limited, especially when compared with single-sense embeddings. In this paper, we propose a simple method to learn a word representation, given any context. Our method only requires learning the usual single sense representation, and coefficients that can be learnt via a single pass over the data. We propose several new test sets for evaluating word sense induction, relevance detection, and contextual word similarity, significantly supplementing the currently available tests. Results on these and other tests show that while our method is embarrassingly simple, it achieves excellent results when compared to the state of the art models for unsupervised polysemous word representation learning.

研究动机与目标

• 解决在无需复杂训练或聚类的情况下学习上下文相关、义项特定词嵌入的挑战。
• 开发一种既简单又有效的无监督多义词表示学习方法。
• 提供全面且大规模的测试集，用于在多个 NLP 任务中评估多义词嵌入。
• 证明最小化、非神经网络的方法在性能上可与最先进深度学习模型比肩甚至超越。

提出的方法

• 该方法使用标准单义 word2vec 嵌入作为每个词的基础向量。
• 上下文词嵌入通过上下文词向量的归一化线性组合计算得出，权重由其与目标词的共现频率决定。
• 权重矩阵由归一化的共现计数推导得出，定义为 $ W_{ij} = \frac{\text{co-occurrence count}(i,j)}{\text{freq}(i) \times \text{freq}(j)} $。
• 词 $ i $ 在上下文 $ \mathcal{S} $ 中的最终上下文嵌入为 $ u = \frac{1}{|\mathcal{S}|} \sum_{j \in \mathcal{S}} W_{ji} C_j $，其中 $ C_j $ 是词 $ j $ 的 word2vec 向量。
• 无需进一步训练——仅需对语料库进行一次遍历以计算共现统计量。
• 该方法在所有词和上下文中统一应用，实现零样本上下文适应。

实验结果

研究问题

• RQ1 使用共现权重对预训练词向量进行简单线性组合，能否在多义词表示学习中实现有竞争力的性能？
• RQ2 在无监督多义性评估任务中，所提出方法与复杂深度学习模型相比表现如何？
• RQ3 统一的、不可训练的方法能否超越需要端到端训练和义项聚类的模型？
• RQ4 与现有基准相比，所提出的测试集在多义词嵌入评估方面提升了多少？

主要发现

• 所提方法在词义归纳、上下文词相似度和相关性检测任务上均达到最先进性能，优于 Huang 等人（2012）和 Arora 等人（2016）等复杂模型。
• 在词义分类（WSC）任务中，模型在 C1 上达到 84.3% 的平均准确率，在 C2 上达到 78.9%，优于大多数现有无监督方法。
• 在上下文词相似度任务中，模型在新测试集上达到 0.78 的斯皮尔曼等级相关系数，显著优于基线方法。
• 即使与拥有义项级监督的 WordNet 基模型相比，该模型表现也具有竞争力。
• 该模型在不同上下文和多义词上表现稳健，计算开销极低。
• 作者证明，非神经网络、线性方法在综合、多义性特定基准上评估时，性能可超越深度学习模型。