[论文解读] Improving Pointwise Mutual Information (PMI) by Incorporating Significant Co-occurrence

Om Damani|arXiv (Cornell University)|Jul 2, 2013

Web Data Mining and Analysis参考文献 14被引用 12

一句话总结

本文提出 cPMId，一种新型词关联度量方法，通过使用文档级统计量而非词级统计量来整合语料级显著共现，从而改进点互信息（PMI）。该方法在性能上优于传统共现度量方法，并可与计算资源密集型的分布语义与知识基方法相媲美，性能提升主要源于语料级显著性与文档计数，而非文档级显著性。

ABSTRACT

We design a new co-occurrence based word association measure by incorporating the concept of significant cooccurrence in the popular word association measure Pointwise Mutual Information (PMI). By extensive experiments with a large number of publicly available datasets we show that the newly introduced measure performs better than other co-occurrence based measures and despite being resource-light, compares well with the best known resource-heavy distributional similarity and knowledge based word association measures. We investigate the source of this performance improvement and find that of the two types of significant co-occurrence - corpus-level and document-level, the concept of corpus level significance combined with the use of document counts in place of word counts is responsible for all the performance gains observed. The concept of document level significance is not helpful for PMI adaptation.

研究动机与目标

• 通过整合显著共现的概念，特别是语料级显著性，来改进传统 PMI。
• 探究文档级显著共现是否在 PMI 改进中具有实质性贡献。
• 开发一种轻量化、高性能的替代方案，以替代计算资源密集型的词关联度量方法。
• 确定使用文档计数而非词计数是否能独立于显著性概念提升性能。
• 评估新度量方法在多样化数据集与参数设置下的鲁棒性。

提出的方法

• 提出 cPMId，一种将语料级显著性应用于基于文档的频率统计的改进型 PMI。
• 用文档级频率（d(x)、d(y)、d(x,y)）替代 PMI 中的词级频率，以减少稀疏性偏差。
• 引入基于卡方检验的统计显著性项，以限制对预期共现频率的偏离。
• 使用可调参数 δ 控制显著性阈值，调整共现频率的预期偏离程度。
• 推导出 cPMId 的表达式：log[ d(x,y) / (d(x)*d(y)/D + √d(x)*√(ln δ / (-2))) ]，其中 δ ∈ (0,1)。
• 在多个数据集和评估指标下，将 cPMId 与 PMI、PMId、PMIz、CSR、PMI²、nPMI、Dice 和 Jaccard 进行对比。

实验结果

研究问题

• RQ1 将语料级显著共现整合入 PMI 是否能提升词关联性能？
• RQ2 在 PMI 改进过程中，文档级显著共现是否具有实际益处，还是仅增加冗余？
• RQ3 基于文档计数的 PMI 变体是否能超越标准基于词计数的 PMI 及其他共现度量方法？
• RQ4 新度量方法的性能对可调参数（如 δ 和跨度阈值 s）的敏感性如何？
• RQ5 cPMId 的性能是否能与资源密集型的分布语义与知识基词关联方法相匹配或超越？

主要发现

• cPMId 在多个自由联想与语义相关性数据集上显著优于标准 PMI、PMId、PMIz、CSR、Dice、Jaccard、PMI² 和 nPMI。
• cPMId 的性能与 cPMIz 几乎完全一致，表明文档级显著性并未带来性能增益。
• 性能提升的主要来源是语料级显著性与文档级频率统计的结合，而非文档级显著性。
• 尽管资源消耗较低，cPMId 的性能可与最先进的分布语义相似度与知识基词关联方法相媲美。
• 该度量方法对参数变化具有鲁棒性，性能在 δ 和跨度阈值的广泛取值范围内保持稳定。
• 最优默认参数设置为跨度阈值 20w 与 δ = 0.7，但性能在多种组合下依然表现强劲。