[论文解读] Computing Lempel-Ziv Factorization Online

Tatiana Starikovskaya|arXiv (Cornell University)|Feb 23, 2012

Algorithms and Data Compression参考文献 14被引用 4

一句话总结

该论文提出了一种在线算法，用于在 O(n log²n) 时间和 O(n log σ) 位空间内计算字符串的 Lempel-Ziv 分解，利用稀疏后缀树和波特尔树（wavelet trees）每 r = O(logσ n) 个字符高效更新一次分解。该方法支持增量更新，并实现了有利的时间-空间权衡，适用于大规模数据处理中的实际应用。

ABSTRACT

We present an algorithm which computes the Lempel-Ziv factorization of a word $W$ of length $n$ on an alphabet $Σ$ of size $σ$ online in the following sense: it reads $W$ starting from the left, and, after reading each $r = O(\log_σ n)$ characters of $W$, updates the Lempel-Ziv factorization. The algorithm requires $O(n \log σ)$ bits of space and O(n \log^2 n) time. The basis of the algorithm is a sparse suffix tree combined with wavelet trees.

研究动机与目标

• 设计一种在线算法，通过减少更新频率，逐步计算字符串的 Lempel-Ziv 分解。
• 通过每 r = O(logσ n) 个字符更新一次分解而非每个字符都更新，实现实际的时间-空间权衡。
• 在保持总运行时间在 O(n log²n) 以内的同时，将空间复杂度控制在 O(n log σ) 位以内。
• 利用压缩数据结构（如波特尔树和稀疏后缀树）支持高效的动态更新。
• 提供一种可扩展的解决方案，适用于全量离线计算不可行的大规模数据处理场景。

提出的方法

• 该算法将输入字符串按大小为 r = O(logσ n) 的块进行处理，仅在每个块结束后更新分解。
• 它使用由每块 r 个字符组成的元字符（meta-characters）构建的稀疏后缀树，以高效表示子串。
• 波特尔树用于维护 Burrows-Wheeler 变换（BWT），并在每次更新中以 O(log²n) 时间支持秩（rank）和选择（select）操作。
• 一种动态数据结构维护每个内部节点处的后缀树及其相关 tries，以支持高效的子串搜索。
• 该算法结合了 Ukkonen 的在线后缀树构造方法与波特尔树更新机制，以支持增量式分解。
• 使用两种过程：P_<r 用于短因子（|fi| < r），P_≥r 用于长因子，后者依赖于稀疏后缀树进行模式匹配。

实验结果

研究问题

• RQ1 是否可以在减少更新频率的同时，以亚二次时间复杂度实现 Lempel-Ziv 分解的在线计算？
• RQ2 是否可能在支持增量更新的同时，将空间复杂度控制在 O(n log σ) 位以内？
• RQ3 如何结合波特尔树与稀疏后缀树，以实现每次更新时间复杂度为 O(log²n) 的高效动态分解？
• RQ4 在在线 LZ 分解中，何种最优块大小 r 能够在更新频率与总运行时间之间实现平衡？
• RQ5 是否可以以一种同时兼顾空间效率与大规模字符串实际性能的方式维护分解？

主要发现

• 该算法在 O(n log²n) 时间和 O(n log σ) 位空间内完成 Lempel-Ziv 分解，实现了有利的时间-空间权衡。
• 使用由 r = O(logσ n) 个字符组成的块生成的元字符，实现了子串的高效索引与模式匹配。
• 基于元字符的稀疏后缀树可高效检测重复子串，这对 LZ 分解至关重要。
• 波特尔树支持 O(log²n) 时间内的秩和选择操作，从而在动态数据结构中实现高效的导航与更新。
• 总时间复杂度由波特尔树更新主导，由于共进行 O(n/r) 次更新，每次耗时 O(log²n)，总耗时为 O(n log²n)。
• 该算法可适配至在线设置，即在每 r 个字符的块后更新分解，同时保持相同的渐近复杂度边界。