[论文解读] Approximating Document Frequency with Term Count Values

Martin Klein, Michael L. Nelson|ArXiv.org|Jul 23, 2008

Natural Language Processing Techniques参考文献 15被引用 3

一句话总结

本文展示了在语料库网络（Web as Corpus, WaC）中，词频计数（TC）与文档频率（DF）之间存在显著相关性（Spearman等级相关系数 ρ ≥ 0.8，p ≤ 2.2×10⁻¹⁶），使得TC可作为IDF计算中DF的可靠代理。作者通过Kendall’s τ和比率分析验证了这一点，结论是：来自大型、近期语料库（如Google N-grams）的TC值可准确估算IDF，用于生成词汇签名。

ABSTRACT

For bounded datasets such as the TREC Web Track (WT10g) the computation of term frequency (TF) and inverse document frequency (IDF) is not difficult. However, when the corpus is the entire web, direct IDF calculation is impossible and values must instead be estimated. Most available datasets provide values for term count (TC) meaning the number of times a certain term occurs in the entire corpus. Intuitively this value is different from document frequency (DF), the number of documents (e.g., web pages) a certain term occurs in. We conduct a comparison study between TC and DF values within the Web as Corpus (WaC). We found a very strong correlation with Spearman's rho >0.8 (p<0.005) which makes us confident in claiming that for such recently created corpora the TC and DF values can be used interchangeably to compute IDF values. These results are useful for the generation of accurate lexical signatures based on the TF-IDF scheme.

研究动机与目标

• 评估大规模网络语料库（如WaC）中词频计数（TC）与文档频率（DF）之间的相关性。
• 确定当DF不可用时，TC是否可作为IDF计算中DF的可靠代理。
• 评估利用Google N-grams的TC值在缺少DF数据的情况下，是否可实现IDF的准确估算。
• 通过仅使用TC的语料库，实现基于TF-IDF的网页词汇签名的准确生成。

提出的方法

• 计算WaC语料库中前100万个词的TC与DF值之间的Spearman等级相关系数（ρ）。
• 使用Kendall’s tau（τ）测量等级相关性，并通过计算时间分析评估可扩展性。
• 分析TC/DF比率分布，以可视化并量化TC与DF之间的关系。
• 比较WaC与Google N-grams的TC频率分布，以评估语料库之间的相似性。
• 使用R-Project的统计函数在大规模词频数据上计算相关系数。
• 应用数据可视化（对数-对数图、比率直方图）以支持实证发现。

实验结果

研究问题

• RQ1 在大规模网络语料库（如WaC）中，词频计数（TC）与文档频率（DF）之间是否存在显著相关性？
• RQ2 当DF不可用时，TC值是否可作为IDF计算中DF的可靠代理？
• RQ3 WaC中TC与DF的相关性与Google N-grams语料库中的相关性相比如何？
• RQ4 从TC估算DF在大规模网络语料库中的计算可行性如何？
• RQ5 基于TC的IDF值在多大程度上可支持网页词汇签名的准确生成？

主要发现

• 在WaC语料库中，TC与DF的Spearman等级相关系数（ρ）≥ 0.8，且p ≤ 2.2×10⁻¹⁶，表明二者存在非常强的单调关系。
• Kendall’s tau（τ）值在0.74至0.82之间，支持TC与DF之间存在高度等级相关性。
• TC/DF比率的均值为1.23，标准差为1.21，中位数为1.00，表明比率紧密聚集在1附近。
• WaC与Google N-grams的TC频率分布高度相似，尤其是在N-gram构建中使用的TC阈值200以上区域。
• 对完整WaC语料库（超过1100万个唯一词）计算Kendall’s τ的估计时间超过126天，表明O(n²)复杂度在全规模分析中不可行。
• 强相关性与低比率方差支持在大型、近期语料库中，TC与DF在IDF估算中的可互换性。