[論文レビュー] Approximating Document Frequency with Term Count Values

Martin Klein, Michael L. Nelson|ArXiv.org|Jul 23, 2008

Natural Language Processing Techniques参考文献 15被引用数 3

ひとこと要約

本稿では、Web as Corpus (WaC) における語彙頻度（TC）と文書頻度（DF）の間に強い相関関係（Spearmanのρ ≥ 0.8、p ≤ 2.2×10⁻¹⁶）が示され、DFの計算にTCを信頼できる代理指標として用いることが可能であることを示している。著者らはKendallのτと比の分析を用いてこれを検証し、Google N-gramsのTC値がDFデータが欠落している場合でも、語彙的シグネチャ生成のためのIDF推定に正確に用いられることを結論づけている。

ABSTRACT

For bounded datasets such as the TREC Web Track (WT10g) the computation of term frequency (TF) and inverse document frequency (IDF) is not difficult. However, when the corpus is the entire web, direct IDF calculation is impossible and values must instead be estimated. Most available datasets provide values for term count (TC) meaning the number of times a certain term occurs in the entire corpus. Intuitively this value is different from document frequency (DF), the number of documents (e.g., web pages) a certain term occurs in. We conduct a comparison study between TC and DF values within the Web as Corpus (WaC). We found a very strong correlation with Spearman's rho >0.8 (p<0.005) which makes us confident in claiming that for such recently created corpora the TC and DF values can be used interchangeably to compute IDF values. These results are useful for the generation of accurate lexical signatures based on the TF-IDF scheme.

研究の動機と目的

• 大規模なウェブコーパスにおける語彙頻度（TC）と文書頻度（DF）の相関関係を評価すること。
• DFが入手できない状況下で、TCがIDF計算における信頼できる代理指標として機能できるかどうかを特定すること。
• Google N-gramsのTC値が、DFデータが欠落している場合でも、正確なIDF推定に用いられる可能性を評価すること。
• TCのみを用いたコーパスを用いて、ウェブページのTF-IDFベースの語彙的シグネチャ生成を正確に行えるようにすること。

提案手法

• WaCコーパスの上位100万語について、TCとDF値の間のSpearman順位相関（ρ）を計算した。
• スケーラビリティを評価するため、Kendallのtau（τ）を用いて順位相関を測定し、計算時間の分析も行った。
• TC/DF比の分布を分析して、TCとDFの関係を視覚的・定量的に可視化した。
• WaCとGoogle N-grams間のTC頻度分布を比較し、コーパスの類似性を評価した。
• 大規模な語彙頻度データにおける相関係数の計算に、R-Projectの統計関数を適用した。
• 実証的発見を支援するために、データ可視化（対数-対数プロット、比のヒストグラム）を実施した。

実験結果

リサーチクエスチョン

• RQ1 Google N-gramsのTC値が、DFデータが欠落している場合でも、正確なIDF推定に用いられる可能性を評価すること。
• RQ2 大規模なウェブコーパス（例：WaC）における語彙頻度（TC）と文書頻度（DF）の間に有意な相関関係があるか。
• RQ3 DFが入手できない状況下で、TC値がIDF計算における信頼できる代理指標として機能できるか。
• RQ4 WaCにおけるTCとDFの相関関係が、Google N-gramsコーパスにおけるそれと比較してどう異なるか。
• RQ5 ウェブ規模のコーパスにおいて、DFをTCから推定することは計算的に可能か。
• RQ6 TCベースのIDF値が、ウェブページの語彙的シグネチャ生成にどれほど正確に寄与できるか。

主な発見

• WaCコーパスにおけるTCとDFのSpearman順位相関（ρ）は0.8以上（p ≤ 2.2×10⁻¹⁶）であり、強い単調関係が示された。
• Kendallのtau（τ）値は0.74から0.82の間であり、TCとDFの間の高い順位相関が裏付けられた。
• TC/DF比の平均は1.23、標準偏差は1.21であり、中央値は1.00であった。これは、比が1周辺にきわめて集中していることを示している。
• WaCとGoogle N-gramsのTC頻度分布は、N-gram構築に用いられるTC閾値200以上では極めて類似しており、類似性が確認された。
• 全WaCコーパス（1100万語以上の固有語）におけるKendallのτの計算は126日以上かかると推定され、O(n²)の計算量は大規模な分析には非現実的であることが示された。
• 強い相関関係と低い比の分散は、最新で大規模なコーパスにおいて、TCとDFの相互交換可能性がIDF推定に有効であることを支持している。