[论文解读] Lexical Co-occurrence, Statistical Significance, and Word Association

Dipak Chaudhari, Om Damani+1 more|arXiv (Cornell University)|Aug 31, 2010

Authorship Attribution and Profiling参考文献 28被引用 23

一句话总结

本文提出了一种统计框架，通过聚焦于同时包含双词中两个词的文档内的跨度分布，而非依赖全局的单频次频率，来检测词汇上显著的共现。该框架引入了一个基于词位随机置换的零模型，以检测词间距离的偏差，结果表明Ochiai和一种新度量方法CSA在识别真实词汇关联方面优于传统的PMI等度量方法。

ABSTRACT

Lexical co-occurrence is an important cue for detecting word associations. We present a theoretical framework for discovering statistically significant lexical co-occurrences from a given corpus. In contrast with the prevalent practice of giving weightage to unigram frequencies, we focus only on the documents containing both the terms (of a candidate bigram). We detect biases in span distributions of associated words, while being agnostic to variations in global unigram frequencies. Our framework has the fidelity to distinguish different classes of lexical co-occurrences, based on strengths of the document and corpuslevel cues of co-occurrence in the data. We perform extensive experiments on benchmark data sets to study the performance of various co-occurrence measures that are currently known in literature. We find that a relatively obscure measure called Ochiai, and a newly introduced measure CSA capture the notion of lexical co-occurrence best, followed next by LLR, Dice, and TTest, while another popular measure, PMI, suprisingly, performs poorly in the context of lexical co-occurrence.

研究动机与目标

• 开发一种基于统计的检测词汇共现的方法，且独立于全局单频次频率的影响。
• 形式化一个基于词位随机置换的零模型，以检验词对的非随机聚集。
• 基于文档级和语料库级的共现线索，区分不同类别的词汇共现。
• 评估并比较现有基于频率的共现度量方法在识别统计显著词语关联方面的表现。
• 提供一个可用于评估其他关联度量方法的黄金标准基准。

提出的方法

• 该方法使用一个零模型，其中文档中的词位被随机置换，以模拟偶然共现，从而检测非随机的跨度分布。
• 仅考虑同时包含候选双词中两个词的文档，聚焦于相关语境，减少全局频率效应带来的噪声。
• 将双词的实际跨度分布与零分布进行显著性检验，以评估共现是否具有统计显著性。
• 该框架根据文档级和语料库级共现信号的强度，将共现分类为不同类别。
• 使用三个基准数据集（sim、rel和essli）对方法进行评估，性能通过与人工判断排名的对比进行衡量。
• 评估的关键度量包括Ochiai、CSA、LLR、Dice、TTest和PMI，其中CSR（CSA的对称变体）作为主要评估指标。

实验结果

研究问题

• RQ1 如何在最小化全局单频次频率影响的前提下，检测统计上显著的词汇共现？
• RQ2 跨度分布（词间距离）在识别有意义的词语关联中起到什么作用？
• RQ3 哪些现有的基于频率的共现度量最能捕捉词汇共现的概念？
• RQ4 在词汇共现的语境下，PMI的表现与其它度量相比如何？
• RQ5 统计共现度量与人类对词语关联的判断在多大程度上相关？

主要发现

• Ochiai度量和新引入的CSA度量在捕捉统计上显著的词汇共现方面优于所有其他共现度量。
• 尽管PMI广受欢迎，但在识别真实词汇关联方面表现不佳，特别是在检测近距离共现方面。
• LLR、Dice和TTest在Ochiai和CSA之后表现次之，表明其在检测有意义共现方面具有中等有效性。
• CSR度量（CSA的对称变体）在sim数据集上与人工判断的相关性为0.74，在rel数据集上为0.65，在essli数据集上为0.46。
• 该框架通过利用文档级和语料库级线索，成功区分了不同类型的共现，实现了对词汇关联的分类。
• 本研究表明，词汇共现是词语关联的一个独立但相关的维度，常能捕捉到人类标注者容易忽略的细微统计模式。