[论文解读] In-Place Longest Common Extensions.

Nicola Prezza|arXiv (Cornell University)|Aug 17, 2016

Algorithms and Data Compression参考文献 26被引用 5

一句话总结

本文提出了一种原地数据结构，将大小为 $n\lceil\log_2|\Sigma|\rceil$ 位的文本替换为一种压缩的原地表示形式，支持最优时间的文本提取和 $\mathcal{O}(\log n)$ 时间的 LCE 查询——相比使用原始文本，其速度呈指数级提升。该结构首次实现了在 $\mathcal{O}(n\log n)$ 期望时间内计算 LCP 数组的原地算法，以及在 $\mathcal{O}(n + b\log^2 n)$ 期望时间内对 $b$ 个后缀进行原地排序的算法，显著优于以往的原地方法。

ABSTRACT

Longest Common Extension (LCE) queries are a fundamental sub-routine in several string-processing algorithms, including (but not limited to) suffix-sorting, string matching, compression, and identification of repeats and palindrome factors. A LCE query takes as input two positions $i,j$ in a text $T\in\Sigma^n$ and returns the length $\ell$ of the longest common prefix between $T$'s $i$-th and $j$-th suffixes. In this paper, we present the following result: we can replace the (plain) text with a data structure of the \emph{exact same size}---$n\lceil\log_2|\Sigma| ceil$ bits---supporting text extraction in optimal time and LCE queries in logarithmic time---i.e. \emph{exponentially} faster than what can be achieved using the plain text alone. Our structure can be built in $\mathcal O(n\log n)$ expected time and linear space. We show that our result is a powerful tool that can be used to efficiently solve in-place a wide variety of string processing problems: we provide the first in-place algorithms to compute the LCP array in $\mathcal O(n\log n)$ expected time (the previous fastest in-place algorithm runs in $\mathcal O(n^2)$ time) and to suffix-sort---with high probability of success---any set of $b$ text suffixes in $\mathcal O(n+b\log^2 n)$ expected time (the previous fastest in-place algorithm runs in $\mathcal O(nb)$ time).

研究动机与目标

• 设计一种数据结构，使其在与原始文本相同的空间内支持高效的 LCE 查询。
• 实现一种在 $\mathcal{O}(n\log n)$ 期望时间内计算 LCP 数组的原地算法，优于此前 $\mathcal{O}(n^2)$ 的原地时间复杂度。
• 开发一种在 $\mathcal{O}(n + b\log^2 n)$ 期望时间内完成 $b$ 个后缀原地排序的算法，优于先前的 $\mathcal{O}(nb)$ 时间复杂度。
• 证明该数据结构可用于高效求解一大类字符串处理问题的原地算法。

提出的方法

• 该数据结构将原始文本替换为一种压缩的原地表示形式，支持在 $\mathcal{O}(\log n)$ 时间内完成文本提取和 LCE 查询。
• 它使用 $n\lceil\log_2|\Sigma|\rceil$ 位的紧凑表示，与原始文本大小完全一致。
• 该结构通过随机化构造过程，在 $\mathcal{O}(n\log n)$ 期望时间内构建完成。
• LCE 查询通过在后缀数组和 LCP 数组上构建的类似分段树（wavelet tree-like）结构来实现。
• 该方法利用了数据结构支持对文本进行高效秩（rank）和选择（select）操作的特性，从而实现高效的后缀比较。
• LCP 数组与后缀排序的原地算法均基于该结构构建，充分利用其模拟后缀访问及其 LCE 值的能力。

实验结果

研究问题

• RQ1 能否设计一种原地数据结构，使其在仅使用 $n\lceil\log_2|\Sigma|\rceil$ 位空间的前提下，实现 $\mathcal{O}(\log n)$ 时间的 LCE 查询？
• RQ2 该数据结构能否支持首次在 $\mathcal{O}(n\log n)$ 期望时间内完成 LCP 数组的原地计算？
• RQ3 该结构能否支持在 $\mathcal{O}(n + b\log^2 n)$ 期望时间内高效完成 $b$ 个后缀的原地排序？
• RQ4 与以往的原地方法相比，使用该结构后，原地字符串算法的性能提升如何？

主要发现

• 所提出的数据结构支持 $\mathcal{O}(\log n)$ 时间的 LCE 查询，相比仅使用原始文本时的 $\mathcal{O}(n)$ 时间，速度呈指数级提升。
• LCP 数组可在 $\mathcal{O}(n\log n)$ 期望时间内通过原地算法计算完成，相比此前的 $\mathcal{O}(n^2)$ 时间复杂度有显著改进。
• $b$ 个后缀的排序可在 $\mathcal{O}(n + b\log^2 n)$ 期望时间内完成，优于先前的 $\mathcal{O}(nb)$ 原地方法。
• 该数据结构恰好使用 $n\lceil\log_2|\Sigma|\rceil$ 位空间，与原始文本大小一致，实现了真正的原地操作。
• 该数据结构的构建时间复杂度为 $\mathcal{O}(n\log n)$ 期望时间，且空间复杂度为线性，适用于大规模文本处理。
• 该框架可高效求解广泛范围的字符串处理问题，展现出强大的通用适用性。