[论文解读] Fishing for Exactness

Ted Pedersen|ArXiv.org|Aug 16, 1996

Natural Language Processing Techniques参考文献 5被引用 97

一句话总结

本文主张在自然语言语料库中识别依赖性双词短语时，应优先采用费雪确切概率法（Fisher's exact test）而非渐近显著性检验（如卡方检验、似然比检验、t检验）。由于自然语言处理中词频分布高度偏斜且稀疏，费雪确切概率法通过在固定边缘条件下计算精确概率，提供了更可靠的p值，优于在小样本或不平衡样本下失效的渐近方法。

ABSTRACT

Statistical methods for automatically identifying dependent word pairs (i.e. dependent bigrams) in a corpus of natural language text have traditionally been performed using asymptotic tests of significance. This paper suggests that Fisher's exact test is a more appropriate test due to the skewed and sparse data samples typical of this problem. Both theoretical and experimental comparisons between Fisher's exact test and a variety of asymptotic tests (the t-test, Pearson's chi-square test, and Likelihood-ratio chi-square test) are presented. These comparisons show that Fisher's exact test is more reliable in identifying dependent word pairs. The usefulness of Fisher's exact test extends to other problems in statistical natural language processing as skewed and sparse data appears to be the rule in natural language. The experiment presented in this paper was performed using PROC FREQ of the SAS System.

研究动机与目标

• 解决由于数据分布偏斜和稀疏导致渐近显著性检验在统计自然语言处理中不可靠的问题。
• 评估费雪确切概率法与常见渐近检验（t检验、皮尔逊卡方检验、似然比卡方检验）在检测依赖性双词短语方面的性能表现。
• 证明费雪确切概率法在处理罕见语言事件（尤其是齐普夫频率分布下）的NLP任务中更为合适。

提出的方法

• 使用《华尔街日报》语料库中130万词的子集分析双词关联性。
• 将双词数据表示为2×2列联表，并对每对词语固定边缘总计。
• 将费雪确切概率法作为左尾检验，计算词语对之间依赖性的精确p值。
• 将费雪确切概率法的显著性值与t检验、皮尔逊卡方检验（X²）和似然比G²检验的结果进行比较。
• 使用SAS PROC FREQ高效计算所有检验统计量。
• 按p值对双词进行排序，以比较不同统计检验的可靠性和一致性。

实验结果

研究问题

• RQ1 费雪确切概率法在识别NLP语料库中依赖性双词短语时，是否比渐近检验提供更可靠的p值？
• RQ2 在稀疏且偏斜的语言数据上，费雪确切概率法的显著性值与t检验、卡方检验和似然比检验相比如何？
• RQ3 当应用于自然语言文本中的罕见词对时，渐近检验在多大程度上会失效？

主要发现

• 费雪确切概率法在罕见双词短语中提供了最可靠的p值，尤其在渐近假设被违反时表现更优。
• 费雪确切概率法与G²检验对双词的显著性排名完全一致，表明两者在高度依赖的词对上具有高度一致性。
• t检验和X²检验的p值与费雪确切概率法存在显著差异，表明其在稀疏数据条件下失效。
• G²检验对频率较低的双词倾向于高估独立性（即产生更高的p值），表明其在期望频数较低时会高估p值。
• 费雪确切概率法在识别真正依赖的双词短语（如'major league'和'southern baptist'）方面表现更优，因其在固定边缘下进行精确计算。
• 本研究证实，偏斜且稀疏的数据——NLP中典型的数据特征——会违反渐近检验的大样本假设，因此费雪确切概率法是更合适的替代方案。