[论文解读] Distinct word length frequencies: distributions and symbol entropies

Reginald D. Smith|arXiv (Cornell University)|Jul 10, 2012

Fractal and DNA sequence analysis参考文献 18被引用 31

一句话总结

本文利用实证数据和信息论，分析了不同语言中文本词长的频率分布。基于字母和空格出现概率，推导出一个统计模型，用于预测词长的频率分布，并应用条件熵来估计词汇分布，结果与多种语言的真实语言数据高度一致。

ABSTRACT

The distribution of frequency counts of distinct words by length in a language's vocabulary will be analyzed using two methods. The first, will look at the empirical distributions of several languages and derive a distribution that reasonably explains the number of distinct words as a function of length. We will be able to derive the frequency count, mean word length, and variance of word length based on the marginal probability of letters and spaces. The second, based on information theory, will demonstrate that the conditional entropies can also be used to estimate the frequency of distinct words of a given length in a language. In addition, it will be shown how these techniques can also be applied to estimate higher order entropies using vocabulary word length.

研究动机与目标

• 使用实证数据对多种语言中的词长分布进行建模。
• 推导一个统计框架，将字母的边缘概率与词长频率及方差联系起来。
• 应用信息论方法，特别是条件熵，来估计按词长划分的词频分布。
• 在多种语言中验证该模型，并评估其预测能力。
• 探索通过词长表征词汇结构的高阶熵的应用。

提出的方法

• 使用真实语料数据，对多种语言中的词长频率分布进行实证分析。
• 基于字母和空格出现频率的边缘概率，推导出预测词长频率分布的概率模型。
• 使用条件熵来估计语言中词长的信息含量。
• 应用香农熵及高阶熵度量方法分析词长分布。
• 将理论分布拟合到观测数据，以评估拟合优度。
• 将模型预测结果与语言语料库中的实际词频数据进行比较。

实验结果

研究问题

• RQ1 不同语言中，不同词长的词频如何变化？
• RQ2 基于字母和空格概率的统计模型能否准确预测词长频率分布？
• RQ3 条件熵在多大程度上能估计特定词长的词种数量？
• RQ4 基于熵的理论模型与真实语言中观测到的词长频率分布匹配程度如何？
• RQ5 从词长推导出的高阶熵能否为词汇结构提供新见解？

主要发现

• 仅基于字母和空格的边缘概率，该模型即可准确预测每种词长的词种数量。
• 词长分布呈现出可预测的模式，可利用基于字母概率推导出的负二项分布类模型进行建模。
• 条件熵值与观测到的词频分布高度相关，验证了信息论方法的有效性。
• 词长的均值和方差可从同一字母概率模型中解析推导得出。
• 该模型在多种语言中表现一致，表明其具有良好的泛化能力。
• 基于词长的高阶熵度量为词汇多样性与结构提供了额外洞察。