[论文解读] Efficient Graph-based Word Sense Induction by Distributional Inclusion Vector Embeddings

Haw-Shiuan Chang, Amol Agrawal+5 more|arXiv (Cornell University)|Apr 9, 2018

Topic Modeling参考文献 28被引用 3

一句话总结

本文提出了一种高效的基于图的词义消歧方法，利用分布包含向量嵌入（DIVE）构建主题的全局非负基表示，避免了昂贵的最近邻搜索。通过在每个词的同构网络中对基表示的索引进行聚类，该方法在 WSI 基准测试中实现了最先进性能，同时显著提升了计算效率，优于以往的基于图的方法。

ABSTRACT

Word sense induction (WSI), which addresses polysemy by unsupervised discovery of multiple word senses, resolves ambiguities for downstream NLP tasks and also makes word representations more interpretable. This paper proposes an accurate and efficient graph-based method for WSI that builds a global non-negative vector embedding basis (which are interpretable like topics) and clusters the basis indexes in the ego network of each polysemous word. By adopting distributional inclusion vector embeddings as our basis formation model, we avoid the expensive step of nearest neighbor search that plagues other graph-based methods without sacrificing the quality of sense clusters. Experiments on three datasets show that our proposed method produces similar or better sense clusters and embeddings compared with previous state-of-the-art methods while being significantly more efficient.

研究动机与目标

• 解决依赖昂贵最近邻搜索的基于图的词义消歧（WSI）方法带来的高计算成本问题。
• 在保持或提升多义词聚类质量的同时，提高 WSI 的计算效率。
• 通过利用适应目标词上下文的主题表示，实现对不常见词义的发现。
• 提供一种可扩展且可解释的无监督词义消歧框架，使用类似主题的基向量。
• 证明基于主题的基表示可替代词级别的相似性计算，且不损失性能。

提出的方法

• 该方法首先使用分布包含向量嵌入（DIVE）学习一个全局非负向量基表示，压缩词袋表示的同时保留共现顺序。
• 每个词表示为基向量（主题）的组合，对于每个多义词，基于 DIVE 模型对目标词的主题相关性，识别出相关的基索引。
• 构建图结构，其中节点代表基索引（主题），边的权重由基于 DIVE 的上下文感知主题-词概率计算出的目标依赖相似性决定。
• 对每个目标词的同构网络应用图聚类以发现词义簇，簇的数量通过分层方式确定。
• 通过在基索引上操作而非原始词汇，避免了全词汇最近邻搜索，大幅降低计算成本。
• 使用标准 WSI 基准（包括 TWSI 和 SemEval-2013）进行评估，词义预测基于上下文嵌入相似性。

实验结果

研究问题

• RQ1 基于主题的基表示能否在基于图的 WSI 中替代词级别的最近邻搜索，同时保持或提升性能？
• RQ2 使用 DIVE 计算目标依赖的主题相似性，是否能实现比传统词空间方法更准确、更高效的词义聚类？
• RQ3 该方法能否在不依赖预定义词义词表的情况下，有效发现不常见的词义？
• RQ4 与以往基于图的 WSI 方法相比，该方法在计算效率方面如何扩展？
• RQ5 DIVE 维度的选择在多大程度上影响聚类质量和效率？

主要发现

• 所提方法在 TWSI 基准上达到最先进性能，平衡 TWSI 的 F1 得分为 67.4，优于基线 WG 方法。
• 在 SemEval-2013 任务中，该方法取得 Jaccard 指数 22.1 和模糊 NMI 3.5，关键指标与其它 SOTA 方法相当或更优。
• 通过用基索引聚类替代词级别最近邻搜索，显著降低了计算成本，实现了对大规模词汇表的高效扩展。
• 基于 DIVE 的基学习支持上下文感知的主题选择，通过聚焦于与每个目标词相关联的主题，提升了词义聚类的准确性。
• 即使在词义数量未预先设定的情况下，该方法仍表现良好，支持分层聚类和多分辨率层级。
• 实验表明，将 DIVE 维度从 100 提升至 300 可略微提升性能，表明更高维表示能捕捉更细微的词义差异。