[论文解读] Heaviest Induced Ancestors and Longest Common Substrings

Travis Gagie, Paweł Gawrychowski+1 more|arXiv (Cornell University)|May 14, 2013

Algorithms and Data Compression参考文献 24被引用 3

一句话总结

本文提出了一种高效的数据结构，用于在具有相同叶节点集合的两棵加权树上解决最重诱导祖先（HIA）查询，通过几何范围查询的解释方法。该方法被应用于构建一个LZ压缩索引，能够在 O(m log²n) 时间内找到模式与字符串之间的最长公共子串，空间复杂度为 O(n log N)，显著优于以往针对大模式的二次时间复杂度方法。

ABSTRACT

Suppose we have two trees on the same set of leaves, in which nodes are weighted such that children are heavier than their parents. We say a node from the first tree and a node from the second tree are induced together if they have a common leaf descendant. In this paper we describe data structures that efficiently support the following heaviest-induced-ancestor query: given a node from the first tree and a node from the second tree, find an induced pair of their ancestors with maximum combined weight. Our solutions are based on a geometric interpretation that enables us to find heaviest induced ancestors using range queries. We then show how to use these results to build an LZ-compressed index with which we can quickly find with high probability a longest substring common to the indexed string and a given pattern.

研究动机与目标

• 设计高效的数据结构，用于在具有相同叶节点集合的两棵加权树上支持最重诱导祖先（HIA）查询。
• 利用诱导祖先的几何解释，支持对叶节点位置映射的范围查询。
• 应用HIA数据结构构建压缩索引，以实现LZ77压缩字符串中快速的最长公共子串（LCS）查询。
• 将LCS查询的时间复杂度从 O(m² log log n) 降低至 O(m log²n)，其中 m 为模式长度。
• 在保持压缩空间使用量与 n log N 成比例（n 为LZ77短语数量）的前提下，实现亚二次查询时间。

提出的方法

• 将问题建模为一个 n×n 网格上的范围空查询，其中每个单元格 (x,y) 标记一个在 T₁ 中为第 x 个、在 T₂ 中为第 y 个的叶节点。
• 对两棵树使用重路径分解，以减少需考虑的祖先对数量，将每片叶的祖先对限制在 O(log²n) 对以内。
• 为每对重路径构建天际线列表，仅存储非占优的诱导祖先对 (u₁,u₂)，且这些对在深度或权重上为最大。
• 使用完美哈希表仅存储非空的天际线列表，从而在HIA查询期间实现高效查找。
• 使用范围空查询数据结构，支持 O(log log n) 的查询时间与 O(n log log n) 的空间复杂度，或在 O(n) 空间下实现 O(log³n (log log n)²) 的查询时间。
• 通过构建两棵Patricia字典树（一棵用于反转前缀，另一棵用于后缀）将HIA数据结构应用于LCS查询，结合Karp-Rabin哈希与重心分解，以高效计算LCP。

实验结果

研究问题

• RQ1 能否通过几何范围查询高效支持两棵加权树之间的最重诱导祖先查询？
• RQ2 在树的笛卡尔积背景下，HIA数据结构在空间与查询时间之间的权衡为何？
• RQ3 HIA数据结构能否被用于加速LZ压缩字符串中的最长公共子串（LCS）查询？
• RQ4 是否可能将LCS查询的时间复杂度从与模式长度 m 的二次依赖降低为线性依赖？
• RQ5 在实现亚二次查询时间的同时，能否将最终压缩索引的空间使用量控制在 O(n log N) 以内？

主要发现

• 一个 O(n log²n) 空间的数据结构可在 O(log n log log n) 时间内支持HIA查询，从而实现压缩字符串中高效LCS计算。
• 本文实现了在 O(m log²n) 时间内查找模式 P 与LZ77压缩字符串 S 之间最长公共子串的算法，空间复杂度为 O(n log N)。
• 通过采用更节省空间的HIA结构，查询时间可进一步降低至 O(m log n log log n)，但代价是空间增加至 O(n(log N + log²n))。
• 该方法利用Karp-Rabin哈希与重心分解的Patricia字典树，在 O(m log n) 时间内计算所有模式分割的LCP，从而实现与 m 的线性依赖。
• 该方法通过随机化技术确保LCP估计的高概率正确性，从而实现LCS查询的可靠性。
• 论文完整版进一步消除了查询时间中的 log log n 因子，表明存在实现更紧时间界限的潜力。