[论文解读] Keywords lie far from the mean of all words in local vector space

Eirini Papagiannopoulou, Grigorios Tsoumakas+1 more|arXiv (Cornell University)|Aug 21, 2020

Advanced Text Analysis Techniques参考文献 47被引用 4

一句话总结

本文提出了一种无监督关键词提取方法，通过局部词向量表示建模文档的词分布，基于候选词与分布中心（均值向量）的距离及其首次出现位置对候选词进行排序。结果表明，关键词远离非关键词词项的均值，通过在余弦相似度之外采用欧氏距离和马氏距离，优于当前最先进的无监督方法。

ABSTRACT

Keyword extraction is an important document process that aims at finding a small set of terms that concisely describe a document's topics. The most popular state-of-the-art unsupervised approaches belong to the family of the graph-based methods that build a graph-of-words and use various centrality measures to score the nodes (candidate keywords). In this work, we follow a different path to detect the keywords from a text document by modeling the main distribution of the document's words using local word vector representations. Then, we rank the candidates based on their position in the text and the distance between the corresponding local vectors and the main distribution's center. We confirm the high performance of our approach compared to strong baselines and state-of-the-art unsupervised keyword extraction methods, through an extended experimental study, investigating the properties of the local representations.

研究动机与目标

• 开发一种无需依赖外部工具或预训练嵌入的无监督关键词提取方法。
• 探究局部词向量表示是否能有效建模文档中非关键词词项的语义中心。
• 评估欧氏距离和马氏距离等距离度量相较于余弦相似度在区分关键词与非关键词方面的有效性。
• 证明关键词在局部向量空间中与词分布主干存在统计上的显著距离。
• 探究鲁棒统计与位置特征对关键词排序性能的影响。

提出的方法

• 使用围绕每个词的滑动窗口构建局部词向量表示，捕捉共现模式。
• 计算文档中所有词的均值向量（分布中心），代表非关键词的主要语义主体。
• 基于候选词与均值向量的欧氏或马氏距离及其在文本中的首次出现位置，计算复合得分以评分每个候选关键词。
• 使用马氏距离以考虑词向量分布中的协方差结构，提升对异常值（关键词）的区分能力。
• 应用鲁棒估计器（如MCD）计算中心与协方差矩阵，降低估计阶段对异常值的敏感性。
• 根据复合得分对关键词进行排序，得分越高表示相关性越强。

实验结果

研究问题

• RQ1 文档中的关键词是否倾向于远离局部向量空间中所有词向量的均值？
• RQ2 基于窗口内共现的简单局部向量表示能否在关键词提取中达到或超过GloVe等预训练嵌入的性能？
• RQ3 通过马氏距离引入向量幅值或协方差是否能提升基于余弦相似度的方法的关键词检测效果？
• RQ4 首次出现位置与向量距离如何协同作用以提升关键词排序性能？
• RQ5 鲁棒统计能否增强分布中心的估计并提升整体关键词提取性能？

主要发现

• 关键词在局部向量空间中始终位于所有词向量均值向量的远处，验证了该方法的核心直觉。
• 所提出的LV b方法在文章I中将6个关键词全部检索到前15名，优于LV和FWN基线方法。
• 在文章II中，LV b方法未能在前15名中检索到50%的关键词，但完整版LV方法因早期出现和高距离得分，成功检索到关键词“dynamic”。
• 仅基于窗口内共现的局部向量编码了足够的统计信息，其性能可与预训练的GloVe嵌入相匹配或超越。
• 使用马氏距离显著优于余弦相似度，尤其在捕捉关键词向量的特殊行为方面表现突出。
• 对中心与协方差矩阵的鲁棒估计提升了稳定性与性能，尤其在存在噪声或异常值丰富的分布中表现更优。