[论文解读] Constructions for Clumps Statistics

Frédérique Bassino, Julien Clément+2 more|ArXiv.org|Apr 23, 2008

semigroups and automata theory参考文献 13被引用 5

一句话总结

本文提出了一种组合框架，用于分析随机文本中“簇”（clumps）——即单词最大重叠出现——的统计特性，结合 Régnier-Szpankowski 语言分解与有限自动机，推导出伯努利模型和马尔可夫模型下簇统计量的精确生成函数。主要贡献在于：为簇的数量建立了正态极限定理，并推导出簇计数、大小与覆盖范围的精确有理生成函数，为短序列提供了精确结果，弥补了渐近近似失效时的不足。

ABSTRACT

We consider a component of the word statistics known as clump; starting from a finite set of words, clumps are maximal overlapping sets of these occurrences. This parameter has first been studied by Schbath with the aim of counting the number of occurrences of words in random texts. Later work with similar probabilistic approach used the Chen-Stein approximation for a compound Poisson distribution, where the number of clumps follows a law close to Poisson. Presently there is no combinatorial counterpart to this approach, and we fill the gap here. We emphasize the fact that, in contrast with the probabilistic approach which only provides asymptotic results, the combinatorial approach provides exact results that are useful when considering short sequences.

研究动机与目标

• 弥合概率渐近方法与词出现簇统计的组合精确分析之间的差距。
• 为簇相关统计量（如簇的数量、k-簇、覆盖位置与簇大小）提供有限与无限文本中的精确生成函数。
• 将分析扩展至马尔可夫模型，并推导极限定理，包括簇数量的正态极限定理。
• 通过确定性有限自动机构建算法，实现簇的精确计算。
• 探讨将该框架推广至正则表达式簇的可行性，指出由于星高（star-height）限制而存在固有局限性。

提出的方法

• 利用 Régnier-Szpankowski 语言分解方法建模重叠词出现，并将簇定义为重叠出现的最大簇集。
• 构建识别簇的确定性有限自动机（DFA），其中状态标记新簇的开始，转移函数编码词之间的重叠关系。
• 基于自动机的转移矩阵，推导出关键统计量（簇数量、k-簇、覆盖位置、簇大小）的显式有理生成函数。
• 应用 Perron-Frobenius 理论与柯西积分方法，建立大文本中簇数量的正态极限定理。
• 利用生成函数的泰勒展开与 Rouché 定理分析稀有词行为，推导出簇数量的泊松型极限定理。
• 基于星高定理，论证使用有限词集与前缀码将框架推广至正则表达式不可行。

实验结果

研究问题

• RQ1 能否为随机文本中簇统计量（如簇数量、k-簇、覆盖位置）推导出精确的组合生成函数？
• RQ2 在伯努利与马尔可夫模型下，有限与无限文本中簇的统计特性如何表现？
• RQ3 能否通过基于自动机的方法，严格建立大文本中簇数量的正态极限定理？
• RQ4 稀有词的簇数量的渐近行为如何？其是否服从泊松型分布？
• RQ5 能否通过有限自动机与前缀码，将簇框架推广至正则表达式？

主要发现

• 在伯努利模型中，为簇数量、k-簇、覆盖位置与簇大小推导出精确的有理生成函数，使短文本的精确计算成为可能。
• 基于自动机转移矩阵的 Perron-Frobenius 分析，建立了文本大小为 n 时簇数量的正态极限定理。
• 对于稀有词（大小 > log n / log(1/q)），簇数量服从泊松型极限分布，其生成函数的主极点决定渐近行为。
• 无限文本中簇的大小被证明服从几何随机变量之和的分布，其生成函数通过自动机构造推导得出。
• 该框架被成功扩展至马尔可夫模型，且簇数量的正态极限定理依然成立。
• 由于星高定理的限制，使用词集与前缀码无法实现向正则表达式的有限推广。