[论文解读] PHOBIC: Perfect Hashing With Optimized Bucket Sizes and Interleaved Coding

Stefan Hermann, Hans‐Peter Lehmann+3 more|arXiv (Cornell University)|Jan 1, 2024

Algorithms and Data Compression被引用 2

一句话总结

PHOBIC 通过优化桶大小分布和交错编码，提升了基于 PTHash 的最小完美哈希的空间效率和构建速度。通过表征最优期望桶大小分布，并以统计上均匀、交错的方式对各分区中的种子进行编码，PHOBIC 在保持相同查询速度的前提下，相比 PTHash 实现了每键 0.17 位的空间效率提升，构建速度最高提升 83 倍，且 GPU 加速使每键构建时间缩短至 28 纳秒，空间效率达 1.76 位/键。

ABSTRACT

A minimal perfect hash function (MPHF) maps a set of n keys to {1, ..., n} without collisions. Such functions find widespread application e.g. in bioinformatics and databases. In this paper we revisit PTHash - a construction technique particularly designed for fast queries. PTHash distributes the input keys into small buckets and, for each bucket, it searches for a hash function seed that places its keys in the output domain without collisions. The collection of all seeds is then stored in a compressed way. Since the first buckets are easier to place, buckets are considered in non-increasing order of size. Additionally, PTHash heuristically produces an imbalanced distribution of bucket sizes by distributing 60% of the keys into 30% of the buckets. Our main contribution is to characterize, up to lower order terms, an optimal distribution of expected bucket sizes. We arrive at a simple, closed form solution which improves construction throughput for space efficient configurations in practice. Our second contribution is a novel encoding scheme for the seeds. We split the keys into partitions. Within each partition, we run the bucket distribution and search step. We then store the seeds in an interleaved way by consecutively placing the seeds for the i-th buckets from all partitions. The seeds for the i-th bucket of each partition follow the same statistical distribution. This allows us to tune a compressor for each bucket. Hence, we call our technique PHOBIC - Perfect Hashing with Optimized Bucket sizes and Interleaved Coding. Compared to PTHash, PHOBIC is 0.17 bits/key more space efficient for same query time and construction throughput. We also contribute a GPU implementation to further accelerate MPHF construction. For a configuration with fast queries, PHOBIC-GPU can construct a perfect hash function at 2.17 bits/key in 28 ns per key, which can be queried in 37 ns on the CPU.

研究动机与目标

• 在保持快速查询时间的前提下，提升基于 PTHash 的最小完美哈希的空间效率和构建速度。
• 表征最优的期望桶大小分布（至低阶项），以最小化构建时间和空间使用。
• 设计一种新颖的哈希函数种子编码方案，通过基于分区的交错编码实现高效压缩。
• 实现并评估 GPU 加速的构建流水线，以进一步提升性能。
• 证明所提出方法在空间-时间权衡上优于现有最先进的 MPHF 构造方法。

提出的方法

• 论文推导出一种闭式最优期望桶大小分布，以最小化构建成本，将 PTHash 的不平衡策略推向其逻辑终点。
• 提出交错编码：每个分区中第 i 个桶的种子连续存储，从而实现每桶的均匀压缩。
• 通过分区实现并行构建，种子存储方式保持桶间统计相似性，以实现高效压缩。
• 开发了 GPU 实现以加速种子查找阶段，尤其适用于大规模键集。
• 结合优化桶大小与分区化、交错式种子编码，提升压缩效率并减少构建时间。
• 支持多种压缩方案（如 Rice 编码），并针对每个桶进行调优，从而增强整体空间效率。

实验结果

研究问题

• RQ1 在最小完美哈希中，何种期望桶大小分布可使构建成本最小化？
• RQ2 在分区化构建中，如何重构种子编码以提升压缩效率？
• RQ3 在各分区中对应桶位置的种子采用交错存储，是否能带来更好的压缩效果和更快的构建速度？
• RQ4 GPU 加速在多大程度上可提升最小完美哈希函数的构建吞吐量？
• RQ5 与现有最先进的 MPHF 技术相比，所提出方法在空间、构建时间和查询速度方面表现如何？

主要发现

• PHOBIC 在保持相同查询性能的前提下，相比 PTHash 实现了每键 0.17 位的空间效率提升。
• 在 1.86 位/键配置且查询时间相近的情况下，PHOBIC 的构建速度比原始 PTHash 实现快 83 倍。
• GPU 加速的 PHOBIC-GPU 在 2.17 位/键的空间效率下，实现每键 28 纳秒的构建时间，CPU 查询时间每查询 37 纳秒。
• 当使用 λ=9 和交错 Rice 编码时，PHOBIC-GPU 相较于多线程 CPU 版本实现了 62 倍的构建速度提升。
• GPU 构建的能耗约为多线程 CPU 构建的 1/30，峰值阶段功耗分别为 405W 和 195W。
• 尽管空间效率较低，SIMDRecSplit 的构建速度仍快于 PHOBIC，凸显了设计选择中的权衡。