[论文解读] Indexing Highly Repetitive String Collections

Gonzalo Navarro|arXiv (Cornell University)|Apr 6, 2020

Algorithms and Data Compression参考文献 224被引用 10

一句话总结

本文综述了用于高度重复字符串集合的先进索引技术——这类集合在生物信息学、版本化软件和网页存档中很常见——通过利用超越统计压缩的结构性重复性。它提出了一套统一的压缩范式（例如，Lempel-Ziv、语法压缩、Burrows-Wheeler变换）与数据结构（例如，压缩后缀数组、CDAWGs），实现在压缩空间中高效模式搜索，实现亚线性搜索时间，并且空间复杂度与重复性度量（如 $ z $、$ \gamma $ 或 $ r^* $）成比例，而非完整文本大小。

ABSTRACT

Two decades ago, a breakthrough in indexing string collections made it possible to represent them within their compressed space while at the same time offering indexed search functionalities. As this new technology permeated through applications like bioinformatics, the string collections experienced a growth that outperforms Moore's Law and challenges our ability of handling them even in compressed form. It turns out, fortunately, that many of these rapidly growing string collections are highly repetitive, so that their information content is orders of magnitude lower than their plain size. The statistical compression methods used for classical collections, however, are blind to this repetitiveness, and therefore a new set of techniques has been developed in order to properly exploit it. The resulting indexes form a new generation of data structures able to handle the huge repetitive string collections that we are facing. In this survey we cover the algorithmic developments that have led to these data structures. We describe the distinct compression paradigms that have been used to exploit repetitiveness, the fundamental algorithmic ideas that form the base of all the existing indexes, and the various structures that have been proposed, comparing them both in theoretical and practical aspects. We conclude with the current challenges in this fascinating field.

研究动机与目标

• 解决在基因组学和版本化系统中常见的大规模、高度重复字符串集合的索引挑战，传统压缩索引因压缩率低下而失效。
• 开发利用结构性重复性（例如，共享子串、公共版本）而非仅统计冗余的索引方法。
• 设计支持在压缩表示上直接进行快速模式匹配和查询（例如，定位、计数、文档检索）的数据结构。
• 实现与重复性度量（如 $ z $、$ \gamma $、$ r^* $）成比例的空间效率，而非完整文本大小，从而实现对 PB 级集合的可扩展分析。
• 引入并形式化新的查询模型，如上下文定位和范围文档列表，以减少在重复环境下的输出膨胀。

提出的方法

• 使用基于 Lempel-Ziv 的度量（$ z $、$ z_{no} $、$ z_{end} $）量化重复性，并指导压缩与索引设计。
• 采用运行长度语法和增强上下文无关文法，以紧凑方式表示重复字符串，并支持高效的子串提取与指纹计算。
• 利用块树与书签技术，实现在压缩文本中实现快速随机访问和 Karp-Rabin 指纹计算。
• 应用 BWT 和 CDAWG（压缩有向无环词图）构建基于后缀的索引，实现在压缩空间中支持模式搜索与文档检索。
• 将基于解析的索引与基于后缀的索引结合，利用几何数据结构追踪文本中模式的主次出现位置。
• 设计新型查询模型，如上下文定位与细粒度文档列表，通过按上下文或版本层次聚类出现位置来减少输出大小。

实验结果

研究问题

• RQ1 我们如何设计压缩索引，使其比统计压缩更有效地利用字符串集合中的结构性重复性？
• RQ2 哪些基本算法与数据结构技术能够实现在压缩的、高度重复文本中快速模式搜索？
• RQ3 我们能否实现亚线性搜索时间，并使空间复杂度与重复性度量（如 $ z $、$ \gamma $、$ r^* $）成比例，而非完整文本大小？
• RQ4 我们如何设计新型查询模型，以减少在重复集合中的输出膨胀，例如上下文或基于范围的文档列表？
• RQ5 在空间、时间与功能方面，基于语法、基于 BWT 和基于块树的压缩索引之间存在哪些实际与理论上的权衡？

主要发现

• 本文确立了 $ z $、$ \gamma $、$ r^* $ 和 $ b $ 等重复性度量对于表征字符串集合可压缩性及指导高效索引设计至关重要。
• 基于语法的索引可在 $ O(m + occ \log n) $ 时间内支持模式搜索，空间复杂度为 $ O(g \log n) $，其中 $ g $ 为压缩文本的最小语法大小。
• 块树与书签技术可实现在压缩形式下每操作 $ O(\log n) $ 时间内高效提取子串与计算 Karp-Rabin 指纹。
• 基于 BWT 的索引可在 $ O(m + occ) $ 时间内支持模式搜索，空间复杂度为 $ O(r^*) $，其中 $ r^* $ 为 BWT 及其逆变换中运行段的总和。
• 本文证明，上下文定位可在 $ O(m + cocc \log n) $ 时间与 $ O(r^* \log(n/r^*)) $ 空间内解决，其中 $ cocc $ 为不同上下文的数量，显著减少输出大小。
• 通过将倒排列表结构适配到版本层次结构，新型查询模型如范围文档列表与细粒度文档列表可实现在与输出大小 $ nrange $ 成比例的时间内完成，而非与文档数量 $ docc $ 成比例。