[论文解读] Measuring Word Significance using Distributed Representations of Words

Adriaan M. J. Schakel, Benjamin J. Wilson|arXiv (Cornell University)|Aug 10, 2015

Natural Language Processing Techniques参考文献 11被引用 46

一句话总结

本文提出将 word2vec 向量的 L2 范数（长度）与词频（TF）结合，作为衡量文本语料中词语重要性的指标。结果表明，较长的向量对应于更具上下文特异性和语义意义的词语——尤其是内容词——而较短的向量则聚集在功能词周围，从而实现基于重要性的二维可视化，该方法为 t-SNE 提供了一种替代方案，同时保留了语义相关性与可解释性。

ABSTRACT

Distributed representations of words as real-valued vectors in a relatively low-dimensional space aim at extracting syntactic and semantic features from large text corpora. A recently introduced neural network, named word2vec (Mikolov et al., 2013a; Mikolov et al., 2013b), was shown to encode semantic information in the direction of the word vectors. In this brief report, it is proposed to use the length of the vectors, together with the term frequency, as measure of word significance in a corpus. Experimental evidence using a domain-specific corpus of abstracts is presented to support this proposal. A useful visualization technique for text corpora emerges, where words are mapped onto a two-dimensional plane and automatically ranked by significance.

研究动机与目标

• 为解决仅依赖词频在识别有意义词语时存在的局限性，因其将功能词与内容词混淆。
• 探究分布式词表示的幅度（L2 范数）是否在方向之外也承载语义意义。
• 开发一种针对文本语料的二维可视化技术，按词语重要性排序而非按相似性排序。
• 将所提方法与 t-SNE 进行比较，突出其在可解释性与基于重要性的排序方面的优势。
• 在科学摘要领域特定语料（hep-th arXiv 论文）上验证该方法的有效性。

提出的方法

• 在来自 hep-th arXiv 部分的 29,000 篇科学摘要语料上训练 word2vec，生成分布式词表示。
• 为每个词语的向量表示计算 L2 范数（向量长度），作为上下文特异性的度量。
• 将向量长度与词频（TF）结合，形成每个词语的重要性得分。
• 将整个词汇表可视化为散点图，其中 y 轴为向量长度，x 轴为 TF，实现基于重要性的词语排序。
• 使用 POS 标注（Stanford NLP）将词语分类为词性，并分析不同词性类别下向量长度的分布。
• 将所提可视化方法与 t-SNE 进行比较，强调前者通过基于重要性的排序保持了更高的可解释性。

实验结果

研究问题

• RQ1 word2vec 向量的 L2 范数能否作为语料中词语重要性的可靠代理指标？
• RQ2 向量长度与词语类型（如内容词与功能词）及词频之间存在何种相关性？
• RQ3 将向量长度与词频结合，是否能比单独使用词频更有效地识别出有意义且与主题相关的词语？
• RQ4 v-TF 散点图能否作为一种有效且可解释的文本语料可视化工具，区别于基于相似性的方法（如 t-SNE）？
• RQ5 其他词表示模型（如 GloVe、log-bilinear）是否也通过向量幅度编码了词语重要性？

主要发现

• 高向量长度且词频中等至较高的词语主要为内容词，如名词和形容词，表明其具有强烈的上下文特异性。
• 功能词（如介词、代词）即使在高频下也保持较短的向量长度，证实其语义重要性较低。
• 专有名词具有上下文特异性，其向量长度在相同频率下显著长于功能词，因此在 v-TF 图中可实现清晰分离。
• 动词和副词的向量长度处于中间水平，在低频时与功能词重叠，但在高频时逐渐分离。
• v-TF 散点图提供了有意义且可解释的可视化效果，词语按重要性自然排序，而 t-SNE 则优先考虑语义相似性而非重要性。
• 该方法即使在功能词与内容词具有相似词频时，也能有效区分语义丰富的词语与功能词，验证了向量长度作为重要性度量的有效性。