[论文解读] Composite repetition-aware data structures

Djamal Belazzougui, Fabio Cunial+3 more|arXiv (Cornell University)|Feb 20, 2015

Algorithms and Data Compression参考文献 9被引用 13

一句话总结

该论文提出了一种用于高度重复字符串的复合数据结构，结合了游程长度编码Burrows-Wheeler变换（RLBWT）、紧凑有向无环单词图（CDAWG）和基于LZ77的组件，以实现空间效率和快速模式报告。其主要贡献是提出了一种基于$e$（最大重复串的右扩展）和$e^\ell$（左扩展）的新后缀树表示方法，实现了$O(m\log\log n)$时间的匹配统计和$O(e + e^\ell)$空间的常数空间遍历。

ABSTRACT

In highly repetitive strings, like collections of genomes from the same species, distinct measures of repetition all grow sublinearly in the length of the text, and indexes targeted to such strings typically depend only on one of these measures. We describe two data structures whose size depends on multiple measures of repetition at once, and that provide competitive tradeoffs between the time for counting and reporting all the exact occurrences of a pattern, and the space taken by the structure. The key component of our constructions is the run-length encoded BWT (RLBWT), which takes space proportional to the number of BWT runs: rather than augmenting RLBWT with suffix array samples, we combine it with data structures from LZ77 indexes, which take space proportional to the number of LZ77 factors, and with the compact directed acyclic word graph (CDAWG), which takes space proportional to the number of extensions of maximal repeats. The combination of CDAWG and RLBWT enables also a new representation of the suffix tree, whose size depends again on the number of extensions of maximal repeats, and that is powerful enough to support matching statistics and constant-space traversal.

研究动机与目标

• 设计一种同时依赖多个重复度量的高重复字符串数据结构，以提升空间和时间效率。
• 降低重复数据集（如基因组数据库）中模式计数和报告的时间与空间开销。
• 引入一个新度量$e$，即最大重复串的右扩展数量，作为比$r$（BWT游程数）或$z$（LZ77因子数）更精细的重复度度量。
• 通过基于RLBWT和CDAWG的复合结构，实现高效后缀树操作（如匹配统计和常数空间遍历）。
• 在空间、模式报告时间以及支持高级操作（如后缀链接和Weiner链接）之间实现具有竞争力的权衡。

提出的方法

• 将游程长度编码的BWT（RLBWT）与紧凑有向无环单词图（CDAWG）及基于LZ77的组件结合，构建复合索引。
• 使用元组$\mathtt{id}(v) = (v^\prime, |\ell(v)|, i, j)$表示后缀树，其中$v^\prime$为CDAWG节点，$[i..j]$为字符串标签$\ell(v)$在BWT中的区间。
• 利用RLBWT实现快速模式计数和区间查询，同时利用CDAWG对最大重复串及其扩展进行紧凑表示。
• 通过RLBWT上的反向搜索和$\mathsf{RLBWT}_{\overline{T}}$上的反向采样，支持双向字符串操作。
• 通过BWT中的区间包含关系和反向步进操作，利用CDAWG结构和RLBWT区间实现后缀链接和Weiner链接。
• 通过在区间边界上进行前驱查询，实现$O(1)$时间的$\mathtt{stringDepth}$、$\mathtt{child}$和$\mathtt{firstChild}$操作，以及$O(\log\log n)$时间的$\mathtt{parent}$和$\mathtt{nextSibling}$操作。

实验结果

研究问题

• RQ1 将RLBWT、CDAWG和LZ77组件结合，能否构建出空间复杂度依赖于多个重复度量的数据结构？
• RQ2 最大重复串的右扩展数量$e$，是否比$r$（BWT游程数）或$z$（LZ77因子数）更有效地衡量重复度，作为压缩字符串索引的度量？
• RQ3 复合结构能否在仅使用$O(e + e^\ell)$空间的前提下，支持高效的匹配统计和后缀树的常数空间遍历？
• RQ4 RLBWT与CDAWG的结合，能否实现比传统RLBWT结合后缀数组采样或LZ77索引更快的模式报告？
• RQ5 是否可能在复合结构中，以$O(\log\log n)$时间完成每次左/右扩展的双向字符串操作？

主要发现

• 所提出的结构在$O(m(\log\log n + \log z) + \mathtt{pocc}\log^\epsilon z + \mathtt{socc}\log\log n)$时间内报告长度为$m$的模式的所有$\mathtt{occ}$个出现位置，空间复杂度为$O(z + r)$个字。
• 基于$e$（最大重复串的右扩展）和$e^\ell$（左扩展）的新后缀树表示方法，仅需$O(e + e^\ell)$个字的空间。
• 利用复合后缀树结构，可在$O(m\log\log n)$时间内计算长度为$m$的模式的匹配统计。
• 利用复合结构，可在$O(n\log\log n)$时间内实现后缀树的常数空间遍历。
• 该结构支持双向索引，每次左/右扩展的时间为$O\left(\log\log n\right)$，空间复杂度为$O(e + e^\ell)$。
• CDAWG与RLBWT的结合，使得通过区间操作和前驱查询，高效实现后缀链接和Weiner链接成为可能。