[论文解读] Locality-Preserving Minimal Perfect Hashing of k-mers

Giulio Ermanno Pibiri, Y. Shibuya+1 more|arXiv (Cornell University)|Oct 24, 2022

Algorithms and Data Compression被引用 6

一句话总结

本文提出 LPHash，一种针对基因组字符串中 k-mer 的局部性保持最小完美哈希函数，通过利用基因组序列中的重叠序列，实现每个键低于 log₂(e) 位的存储——突破了经典的理论下限。通过使用随机最小化器并将 k-mer 分区为超 k-mer，LPHash 将空间使用量减少至 1 位/键以下，并使流式查询速度相比最先进的 PTHash 和 BBHash 方法提升最高达 2 倍。

ABSTRACT

Minimal perfect hashing is the problem of mapping a static set of $n$ distinct keys into the address space $\{1,\ldots,n\}$ bijectively. It is well-known that $n\log_2(e)$ bits are necessary to specify a minimal perfect hash function (MPHF) $f$, when no additional knowledge of the input keys is to be used. However, it is often the case in practice that the input keys have intrinsic relationships that we can exploit to lower the bit complexity of $f$. For example, consider a string and the set of all its distinct $k$-mers as input keys: since two consecutive $k$-mers share an overlap of $k-1$ symbols, it seems possible to beat the classic $\log_2(e)$ bits/key barrier in this case. Moreover, we would like $f$ to map consecutive $k$-mers to consecutive addresses, as to also preserve as much as possible their relationship in the codomain. This is a useful feature in practice as it guarantees a certain degree of locality of reference for $f$, resulting in a better evaluation time when querying consecutive $k$-mers. Motivated by these premises, we initiate the study of a new type of locality-preserving MPHF designed for $k$-mers extracted consecutively from a collection of strings. We design a construction whose space usage decreases for growing $k$ and discuss experiments with a practical implementation of the method: in practice, the functions built with our method can be several times smaller and even faster to query than the most efficient MPHFs in the literature.

研究动机与目标

• 解决将通用最小完美哈希函数（MPHF）应用于生物序列中 k-mer 时效率低下的问题。
• 利用连续 k-mer 之间的固有重叠（共享 k−1 个字符）特性，将空间复杂度降低至理论 log₂(e) ≈ 1.442 位/键的下限以下。
• 设计一种保持局部性的 MPHF，将连续 k-mer 映射到连续的哈希值，以提升缓存局部性和卫星数据压缩效果。
• 在生物信息学中常见的流式工作负载中，同时实现空间效率和高查询性能。
• 开发一种实用的开源实现，在真实基因组数据集上，其大小和速度性能均优于现有 MPHF。

提出的方法

• 使用随机最小化器从长基因组序列中采样代表性 k-mer，以减少有效键集的大小。
• 将共享相同最小化器的连续 k-mer 分组为“超 k-mer”，以利用结构局部性并减少冗余。
• 采用两级哈希方案：为主超 k-mer 使用主 MPHF，为存在歧义的最小化器使用回退 MPHF。
• 利用波浪树和秩/选择数据结构，支持在超 k-mer 块内快速紧凑的秩查询。
• 通过保持空间局部性的分区布局构建最终的 MPHF，以支持高效的流式查找。
• 优化构建流水线，支持外部内存和并行处理，以实现对大规模数据集的可扩展性。

实验结果

研究问题

• RQ1 通过利用 k-mer 序列中的结构关系，能否突破最小完美哈希的理论 log₂(e) 位/键下限？
• RQ2 保持局部性的哈希在 k-mer 工作负载中能在多大程度上减少空间使用并提升查询速度？
• RQ3 使用随机最小化器和超 k-mer 分区在减少冗余和改善内存布局方面有多有效？
• RQ4 保持局部性的 MPHF 是否能在空间和流式查询性能两方面超越通用 MPHF（如 PTHash 和 BBHash）？
• RQ5 不同的最小化器采样策略对最终 MPHF 的空间和时间效率有何影响？

主要发现

• LPHash 将空间使用量降低至每个 k-mer 0.6–0.9 位，显著低于理论最小值 1.442 位/键。
• 在 Human 和 Kestrel 等大型数据集上，LPHash 的流式查询性能相比 PTHash-v1 最快提升 2 倍，相比 PTHash-v2 最快提升 4 倍。
• 在 Yeast 数据集上，LPHash 比 BBHash 快 2 倍，而在更大数据集上最快提升 5 倍，同时内存使用量显著更低。
• 构建时间具有竞争力：由于采用更小、分区化的 MPHF 构建方式，LPHash 在大尺寸数据集上比 PTHash 更快。
• 随机查找性能由于评估复杂度增加而慢于 PTHash，但与 BBHash 相比仍具竞争力，尤其在大尺寸数据集上表现更优。
• 该方法在真实基因组数据上表现出良好的可扩展性，使用 4 个线程时，Human 数据集的总构建时间低于 8 分钟。