[论文解读] Fast Entropy-Bounded String Dictionary Look-Up with Mismatches.

Paweł Gawrychowski, Gad M. Landau+1 more|arXiv (Cornell University)|Jan 1, 2018

Algorithms and Data Compression被引用 1

一句话总结

本文提出了一种用于快速字典查找匹配的新型数据结构，支持最多 $k$ 个错位的查询，查询时间为 $O(m/w + \log^k d + \text{occ})$，额外空间使用为 $O(w d \log^k d)$。该方法将先前针对 $k=1$ 的工作扩展到更广泛的 $k$ 范围，实现了近乎最优的查询性能，同时保持了基于熵的存储效率。

ABSTRACT

We revisit the fundamental problem of dictionary look-up with mismatches. Given a set (dictionary) of $d$ strings of length $m$ and an integer $k$, we must preprocess it into a data structure to answer the following queries: Given a query string $Q$ of length $m$, find all strings in the dictionary that are at Hamming distance at most $k$ from $Q$. Chan and Lewenstein (CPM 2015) showed a data structure for $k = 1$ with optimal query time $O(m/w + occ)$, where $w$ is the size of a machine word and $occ$ is the size of the output. The data structure occupies $O(w d \log^{1+\varepsilon} d)$ extra bits of space (beyond the entropy-bounded space required to store the dictionary strings). In this work we give a solution with similar bounds for a much wider range of values $k$. Namely, we give a data structure that has $O(m/w + \log^k d + occ)$ query time and uses $O(w d \log^k d)$ extra bits of space.

研究动机与目标

• 为以可扩展方式高效处理最多 $k$ 个错位的字典查找基本问题提供解决方案。
• 将先前针对 $k=1$ 的工作扩展到更广泛的 $k$ 值范围，同时保持近乎最优的查询时间和空间效率。
• 设计一种数据结构，其额外空间使用为 $O(w d \log^k d)$ 位，超出基于熵的存储，确保空间效率。
• 实现 $O(m/w + \log^k d + \text{occ})$ 的查询时间，平衡速度与较大 $k$ 值下的可扩展性。

提出的方法

• 利用先进的数据结构和字符串处理技术，支持最多 $k$ 个错位的高效近似匹配。
• 通过字典的分层分解，实现基于汉明距离的候选字符串快速过滤。
• 利用机器字长 $w$ 的字级并行性，加速查询处理过程中的比较操作。
• 集成一种压缩表示方法，在保持基于熵的存储效率的同时支持快速查找。
• 采用递归或分层索引策略，减少每个查询字符串的搜索空间。
• 通过 $d$ 和 $k$ 的对数依赖关系，优化预处理时间、空间和查询时间之间的权衡。

实验结果

研究问题

• RQ1 我们能否将针对 $k=1$ 的快速查询时间解决方案扩展到支持更大的 $k$ 值，同时保持近乎最优的性能？
• RQ2 在基于熵的存储之外，支持 $k$-错位字典查找所需的最小额外空间开销是多少？
• RQ3 是否可能实现 $O(m/w + \log^k d + \text{occ})$ 查询时间，同时使用 $O(w d \log^k d)$ 额外位数的数据结构？
• RQ4 随着 $k$ 的增加，查询时间如何变化？对于实际的 $k$ 值，性能是否仍保持高效？

主要发现

• 所提出的数据结构实现了 $O(m/w + \log^k d + \text{occ})$ 的查询时间，该时间高效且能良好地随 $k$ 扩展。
• 空间使用量为基于字典字符串熵的存储之外的 $O(w d \log^k d)$ 位。
• 该解决方案将先前针对 $k=1$ 的工作推广到更广泛的 $k$ 范围，同时保持近乎最优的查询性能。
• 在 $m/w$ 和 $\text{occ}$ 方面，查询时间与 $k=1$ 的最优界一致，同时为更大的 $k$ 增加了 $\log^k d$ 项。