[论文解读] Geometry of Polysemy

Jiaqi Mu, Suma Bhat+1 more|arXiv (Cornell University)|Oct 24, 2016

Natural Language Processing Techniques被引用 4

一句话总结

该论文提出 K-Grassmeans，一种用于多义性建模的无监督方法，通过将词的上下文表示为低秩子空间，并利用格拉斯曼几何对这些子空间进行聚类以实现词义归纳。通过识别对应于同一词义的相交子空间，该方法在无需外部资源的情况下，在词义归纳与消歧任务中实现了最先进性能，充分利用了上下文词嵌入的几何结构。

ABSTRACT

Vector representations of words have heralded a transformational approach to classical problems in NLP; the most popular example is word2vec. However, a single vector does not suffice to model the polysemous nature of many (frequent) words, i.e., words with multiple meanings. In this paper, we propose a three-fold approach for unsupervised polysemy modeling: (a) context representations, (b) sense induction and disambiguation and (c) lexeme (as a word and sense pair) representations. A key feature of our work is the finding that a sentence containing a target word is well represented by a low rank subspace, instead of a point in a vector space. We then show that the subspaces associated with a particular sense of the target word tend to intersect over a line (one-dimensional subspace), which we use to disambiguate senses using a clustering algorithm that harnesses the Grassmannian geometry of the representations. The disambiguation algorithm, which we call $K$-Grassmeans, leads to a procedure to label the different senses of the target word in the corpus -- yielding lexeme vector representations, all in an unsupervised manner starting from a large (Wikipedia) corpus in English. Apart from several prototypical target (word,sense) examples and a host of empirical studies to intuit and justify the various geometric representations, we validate our algorithms on standard sense induction and disambiguation datasets and present new state-of-the-art results.

研究动机与目标

• 为解决单向量词嵌入在捕捉多义性方面的局限性，即一个词具有多种含义。
• 开发一种无需依赖人工标注词典资源（如 WordNet）的无监督词义归纳与词素表征方法。
• 不将词的上下文表示为向量，而是表示为低维子空间，利用几何结构提升词义聚类效果。
• 在标准基准上验证该方法，并展示其在词义归纳与消歧任务中的最先进性能。

提出的方法

• 将目标词的每个上下文表示为由其周围非功能词（每侧约 W ≈ 10 个）的词嵌入张成的低秩子空间。
• 假设对应于同一词义的子空间沿一条共同的一维子空间（直线）相交，该直线作为该词义的几何锚点。
• 使用格拉斯曼距离度量子空间间的相似性，并基于共享交线的接近程度对子空间进行聚类。
• 采用类似 K-均值的聚类算法，在子空间上利用格拉斯曼几何识别出不同的词义。
• 将语料库中目标词的每个实例标记为推断出的词义，并通过上下文子空间的向量平均学习词素表征（词义对）。
• 应用迭代软解码与硬解码以优化词义预测，利用上下文中多义词之间的相互消歧能力。

实验结果

研究问题

• RQ1 词的上下文是否能更准确地表示为低秩子空间而非向量或词嵌入的平均值？
• RQ2 对应于同一词义的子空间是否形成非平凡的一维子空间，从而支持基于几何的词义聚类？
• RQ3 格拉斯曼几何能否被有效利用于无外部词典资源的无监督词义归纳与消歧？
• RQ4 所提出的 K-Grassmeans 方法在词义归纳与相似性任务中与现有最先进方法相比表现如何？

主要发现

• 该方法在标准词义归纳与消歧基准上实现了新的最先进结果，优于以往的无监督方法。
• 实证分析证实，同一词义的上下文倾向于位于沿共同直线相交的子空间中，验证了核心几何假设。
• 与词嵌入向量平均相比，上下文的子空间表示在词义聚类中更具有效性，因其能更好地保留高阶语义结构。
• 迭代解码过程通过上下文中的相互消歧，尤其对罕见或易混淆的词义，显著提升了消歧性能。
• 该方法成功生成了稳健的、基于语料的词义聚类，并提供软置信度分数，实现了无需依赖外部词典的多粒度词义表征。
• 低维子空间相比基于点的向量模型，能提供更稳定且信息更丰富的句子级语义表征，暗示其在句子与段落建模中的更广泛应用前景。