[论文解读] A Faster Grammar-Based Self-Index

Travis Gagie, Paweł Gawrychowski+3 more|arXiv (Cornell University)|Sep 19, 2011

Algorithms and Data Compression参考文献 28被引用 31

一句话总结

本文提出了一种更快的基于语法的自索引，支持压缩存储和压缩文本中的高效模式匹配。给定一个具有 $ r $ 条规则的上下文无关文法（SLP）和一个包含 $ z $ 个短语的LZ77解析，该索引使用 $ \mathcal{O}(r + z\log\log n) $ 的空间，并在 $ \mathcal{O}(m^2 + \mathrm{occ}\log\log n) $ 的时间内回答模式查询，相较于以往的界限，在空间和时间复杂度上均有改进。

ABSTRACT

To store and search genomic databases efficiently, researchers have recently started building compressed self-indexes based on grammars. In this paper we show how, given a straight-line program with $r$ rules for a string (S [1..n]) whose LZ77 parse consists of $z$ phrases, we can store a self-index for $S$ in $\Oh{r + z \log \log n}$ space such that, given a pattern (P [1..m]), we can list the $\occ$ occurrences of $P$ in $S$ in $\Oh{m^2 + \occ \log \log n}$ time. If the straight-line program is balanced and we accept a small probability of building a faulty index, then we can reduce the $\Oh{m^2}$ term to $\Oh{m \log m}$. All previous self-indexes are larger or slower in the worst case.

研究动机与目标

• 设计一种适用于高度重复字符串（如基因组数据）的压缩自索引，支持快速模式匹配和文本提取。
• 降低基于语法的压缩索引中模式匹配的时间复杂度，尤其是针对长模式。
• 通过结合SLP与LZ77解析以及高级数据结构，实现更优的空间-时间权衡。
• 支持在压缩形式下高效提取子串并报告模式出现位置。
• 将方法扩展至平衡SLP，以进一步将查询时间优化至 $ \mathcal{O}(m\log m + \mathrm{occ}\log\log n) $，且失败概率较小。

提出的方法

• 该索引使用一个包含 $ r $ 条规则的上下文无关文法（SLP）来表示字符串 $ S $，并通过一个包含 $ z $ 个短语的LZ77解析来引导模式匹配。
• 构建两个增强的Patricia树：一个用于起始于短语边界处的子串，另一个用于终止于短语边界处的子串，每个树均存储范围报告信息。
• 对于短模式（$ m \leq \log\log z $），在Patricia树的顶部 $ \log\log z $ 层使用一维范围报告数据结构，以实现 $ \mathcal{O}(m\log m) $ 的查询时间。
• 对于中等长度的模式（$ \log\log z < m < \log z $），为跨越短语边界的子串构建一个独立的Patricia树，并在每个叶节点中以 $ \mathcal{O}(\log\log z) $ 位存储跨越边界的索引位置。
• 使用波浪树或四向范围报告结构执行范围非空查询，以高效验证候选模式出现位置。
• 对于平衡SLP，通过利用平衡解析树的结构特性，将查询时间中的 $ \mathcal{O}(m^2) $ 项减少为 $ \mathcal{O}(m\log m) $。

实验结果

研究问题

• RQ1 我们能否将基于语法的模式匹配时间复杂度从 $ \mathcal{O}(m^2) $ 降低至 $ \mathcal{O}(m\log m) $，同时保持次线性空间？
• RQ2 如何结合SLP与LZ77解析，以在压缩自索引中实现更优的空间-时间权衡？
• RQ3 使用平衡SLP对查询性能和索引构建时间有何影响？
• RQ4 我们能否仅使用 $ \mathcal{O}(r + z\log\log n) $ 的空间，实现压缩文本中高效的数据提取与模式报告？
• RQ5 是否可能设计一种实用的自索引，利用精确匹配原原子支持近似模式匹配？

主要发现

• 所提出的自索引使用 $ \mathcal{O}(r + z\log\log n) $ 的空间，其中 $ r $ 为SLP规则的数量，$ z $ 为字符串LZ77解析中的短语数量。
• 模式匹配在 $ \mathcal{O}(m^2 + \mathrm{occ}\log\log n) $ 时间内完成，优于以往的 $ \mathcal{O}(m^2 \log(\log n / \log r') + \mathrm{occ}\log r') $ 的界限。
• 对于平衡SLP，查询时间被减少至 $ \mathcal{O}(m\log m + \mathrm{occ}\log\log n) $，且索引失败的概率较小。
• 该索引支持在 $ \mathcal{O}(\ell + \log n) $ 时间内快速提取文本，与基于语法索引的最佳已知界限一致。
• 索引的构建与实用的SLP构造算法（如Maruyama等人提出的在线算法）兼容，该算法可生成具有 $ \mathcal{O}(z\log^2 n) $ 条规则的平衡SLP。
• 该方法通过利用精确匹配原原子，支持高效的近似模式匹配，且可集成距离保持型Karp-Rabin哈希函数。