[论文解读] A Limit Theorem for Radix Sort and Tries with Markovian Input

Kevin Leckey, Ralph Neininger+1 more|arXiv (Cornell University)|May 27, 2015

Algorithms and Data Compression参考文献 22被引用 4

一句话总结

本文在马尔可夫输入模型下，通过新颖地结合压缩映射法、矩转移技术以及Zolotarev度量的乘积版本，首次建立了字典树外部路径长度和基数排序时间复杂度的中心极限定理。关键贡献在于首次在马尔可夫信源下严格推导出这些结构的极限分布，解决了长期以来在分析此类数据结构中依赖性问题的挑战。

ABSTRACT

Tries are among the most versatile and widely used data structures on words. In particular, they are used in fundamental sorting algorithms such as radix sort which we study in this paper. While the performance of radix sort and tries under a realistic probabilistic model for the generation of words is of significant importance, its analysis, even for simplest memoryless sources, has proved difficult. In this paper we consider a more realistic model where words are generated by a Markov source. By a novel use of the contraction method combined with moment transfer techniques we prove a central limit theorem for the complexity of radix sort and for the external path length in a trie. This is the first application of the contraction method to the analysis of algorithms and data structures with Markovian inputs; it relies on the use of systems of stochastic recurrences combined with a product version of the Zolotarev metric.

研究动机与目标

• 分析当输入字符串由马尔可夫源生成时，字典树外部路径长度的渐近分布。
• 克服在马尔可夫输入下路径长度分析中强依赖性的困难，这些困难曾使先前的分析技术失效。
• 将压缩映射法——此前仅用于i.i.d.或无记忆输入——扩展至具有马尔可夫输入的递归数据结构。
• 在一般马尔可夫模型下，为字典树外部路径长度和基数排序复杂度建立中心极限定理。
• 开发Zolotarev度量的乘积版本，并将其应用于压缩映射法框架下的随机递推系统。

提出的方法

• 作者采用最初为快速排序设计的压缩映射法，分析马尔可夫输入下递归数据结构的分布行为。
• 通过反映字典树和基数排序递归结构的随机递推系统，对路径长度和基数排序复杂度进行建模。
• 引入Zolotarev度量的乘积版本，以处理马尔可夫设定下多个递归分量的联合分布收敛。
• 使用矩转移技术控制高阶矩的收敛，从而使得压缩映射法可应用于非i.i.d.输入。
• 分析依赖于一种新颖的耦合论证，以及在具有受控矩的测度空间中对概率分布应用压缩映射。
• 应用切尔诺夫型界和大数定律，控制子问题规模（如左右子树中的字符串数量）的分布，确保分布收敛。

实验结果

研究问题

• RQ1 由马尔可夫生成的字符串构建的字典树的外部路径长度是否满足中心极限定理？
• RQ2 压缩映射法能否扩展至处理具有马尔可夫输入的递归数据结构，而非仅限于i.i.d.输入？
• RQ3 当输入字符串遵循马尔可夫过程时，基数排序时间复杂度的极限分布是什么？
• RQ4 马尔可夫模型引入的依赖性如何影响路径长度的收敛速度和渐近方差？
• RQ5 能否构建Zolotarev度量的乘积版本，以分析马尔可夫输入下的随机递推系统？

主要发现

• 由马尔可夫源生成的 $ n $ 个字符串构建的字典树的外部路径长度和基数排序复杂度，当 $ n \to \infty $ 时满足中心极限定理。
• 极限分布为正态分布，其渐近方差 $ \sigma^2 $ 依赖于马尔可夫源的转移矩阵。
• 压缩映射法成功扩展至马尔可夫输入，这是该方法在算法分析中首次应用于此类场景。
• 使用Zolotarev度量的乘积版本，使得能够分析递归数据结构中随机递推系统产生的联合收敛。
• 通过Slutsky引理和矩控制，建立了归一化复杂度 $ (B_n^\mu - \mathbb{E}[B_n^\mu]) / \sqrt{n \log n} $ 收敛于正态分布。
• 收敛过程中的误差项在 $ n \to \infty $ 时趋于零，余项有界于 $ O(1/\sqrt{\log n}) $，从而确认了渐近正态性。