[论文解读] Local Homology of Word Embeddings

Tadas Temčinas|arXiv (Cornell University)|Oct 24, 2018

Topological and Geometric Data Analysis被引用 3

一句话总结

本文提出了一种基于局部同调的新型无监督聚类算法，用于分析词嵌入数据，利用拓扑数据分析（TDA）检测高维向量空间中的结构模式。结果表明，词向量的首个体局部同调群——尤其是同义词如'bank'——揭示了对应于多个词义的拓扑特征，暗示其在词义消歧中的潜力。

ABSTRACT

Topological data analysis (TDA) has been widely used to make progress on a number of problems. However, it seems that TDA application in natural language processing (NLP) is at its infancy. In this paper we try to bridge the gap by arguing why TDA tools are a natural choice when it comes to analysing word embedding data. We describe a parallelisable unsupervised learning algorithm based on local homology of datapoints and show some experimental results on word embedding data. We see that local homology of datapoints in word embedding data contains some information that can potentially be used to solve the word sense disambiguation problem.

研究动机与目标

• 通过将TDA应用于词嵌入数据，弥合拓扑数据分析（TDA）与自然语言处理（NLP）之间的差距。
• 探究局部同调是否能够捕捉与词义消歧（WSD）相关的词嵌入中的结构信息。
• 开发并实现一种基于局部同调的可并行化、无监督聚类算法，用于词向量。
• 评估该算法检测预训练词嵌入中同义词拓扑特征的能力。

提出的方法

• 该方法使用基于预训练词嵌入的Vietoris-Rips复形构造，计算词向量的局部同调群。
• 通过星形及其边界之间的相对同调定义局部同调：对每个词向量σ，有Hσ• = H•(st(σ), ∂st(σ))。
• 使用整数系数的单纯同调计算局部贝蒂数，特别关注第一和第二局部贝蒂数。
• 通过将具有同构局部同调群的词向量聚类，假设共享的拓扑结构表示语义相似性。
• 该方法应用于两个数据集：在不同语料上训练的skip-gram和CBOW词嵌入。
• 该算法已实现并公开发布，分析在不同ϵ值下进行，以探索拓扑持久性。

实验结果

研究问题

• RQ1 局部同调是否能检测词嵌入中词义歧义的拓扑特征，例如同义词如'bank'？
• RQ2 词向量的首个体局部同调群是否反映对应于不同词义的语义上下文？
• RQ3 局部同调群对嵌入空间中的噪声和扰动有多稳定？
• RQ4 与标准局部同调相比，持久局部同调是否能提高鲁棒性和聚类质量？
• RQ5 第二局部同调群在捕捉词向量周围的'相似性环'中起什么作用？

主要发现

• 在两个数据集中，'bank'的首一体局部同调群均表现出非平凡结构，表明存在多个词义的拓扑证据。
• 在skip-gram数据集中，'bank'的首一局部贝蒂数为2，表明存在两个对应于河流岸和金融机构的独立拓扑分量。
• 在skip-gram数据集中，第二局部同调群揭示了涉及'savings'、'deposit'、'fund'和'institution'的循环，表明存在语义相似性的环状结构。
• 在CBOW数据集中，'corporation'的第二局部贝蒂数为2，但生成它的循环与skip-gram模型中的不同。
• 由于对局部同调群施加了严格的同构条件，该算法产生了近乎平凡的聚类，表明对噪声和数据结构高度敏感。
• 建议采用持久局部同调作为更鲁棒的替代方案，以提高稳定性和聚类性能。