[논문 리뷰] PHOBIC: Perfect Hashing With Optimized Bucket Sizes and Interleaved Coding

Stefan Hermann, Hans‐Peter Lehmann외 3명|arXiv (Cornell University)|2024. 01. 01.

Algorithms and Data Compression인용 수 2

한 줄 요약

PHOBIC은 PTHash 기반 최소 완전 해싱의 공간 효율성과 구축 속도를 향상시키기 위해 최적화된 버킷 크기 분포와 교차 인코딩을 도입한다. PTHash의 불균형 전략을 극대화하여 최적의 기대 버킷 크기 분포를 특성화하고, 분할된 파artitions 간에 통계적으로 균일한 방식으로 시드를 교차 인코딩함으로써, 동일한 쿼리 속도를 유지하면서도 PTHash 대비 0.17 비트/키 더 높은 공간 효율성을 달성한다. 또한 구축 속도는 최대 83배 빨라지고, GPU 가속을 통해 1.76 비트/키에서 28 ns/키의 구축 속도를 달성한다.

ABSTRACT

A minimal perfect hash function (MPHF) maps a set of n keys to {1, ..., n} without collisions. Such functions find widespread application e.g. in bioinformatics and databases. In this paper we revisit PTHash - a construction technique particularly designed for fast queries. PTHash distributes the input keys into small buckets and, for each bucket, it searches for a hash function seed that places its keys in the output domain without collisions. The collection of all seeds is then stored in a compressed way. Since the first buckets are easier to place, buckets are considered in non-increasing order of size. Additionally, PTHash heuristically produces an imbalanced distribution of bucket sizes by distributing 60% of the keys into 30% of the buckets. Our main contribution is to characterize, up to lower order terms, an optimal distribution of expected bucket sizes. We arrive at a simple, closed form solution which improves construction throughput for space efficient configurations in practice. Our second contribution is a novel encoding scheme for the seeds. We split the keys into partitions. Within each partition, we run the bucket distribution and search step. We then store the seeds in an interleaved way by consecutively placing the seeds for the i-th buckets from all partitions. The seeds for the i-th bucket of each partition follow the same statistical distribution. This allows us to tune a compressor for each bucket. Hence, we call our technique PHOBIC - Perfect Hashing with Optimized Bucket sizes and Interleaved Coding. Compared to PTHash, PHOBIC is 0.17 bits/key more space efficient for same query time and construction throughput. We also contribute a GPU implementation to further accelerate MPHF construction. For a configuration with fast queries, PHOBIC-GPU can construct a perfect hash function at 2.17 bits/key in 28 ns per key, which can be queried in 37 ns on the CPU.

연구 동기 및 목표

• 최소 완전 해싱 기반 PTHash의 공간 효율성과 구축 속도를 향상시키면서도 빠른 쿼리 시간을 유지한다.
• 구축 시간과 공간 사용을 최소화하기 위해, 하위항목을 제외한 기대 버킷 크기 분포의 최적 분포를 규명한다.
• 분할 기반 교차 인코딩을 통해 효율적인 압축을 가능하게 하는 해시 함수 시드에 대한 새로운 인코딩 체계를 설계한다.
• 추가 성능 향상을 위해 GPU 가속 구축 파이프라인을 구현하고 평가한다.
• 제안된 방법이 기존 최첨단 MPHF 기법들보다 더 나은 공간-시간 트레이드오프를 달성함을 입증한다.

제안 방법

• 논문은 구축 비용을 최소화하는 닫힌 형태의 최적 기대 버킷 크기 분포를 유도하며, 이는 PTHash의 불균형 전략을 논리적으로 극대화한 것이다.
• 교차 인코딩을 도입한다: 각 파artition의 i번째 버킷에서 온 시드들이 연속적으로 저장되어, 각 버킷에 대한 균일한 압축을 가능하게 한다.
• 분할을 통해 병렬 구축을 허용하며, 버킷 간 통계적 유사성을 유지함으로써 효과적인 압축을 가능하게 한다.
• 대규모 키 세트에 대해 특히 유용한 시드 탐색 단계를 가속화하기 위해 GPU 구현을 개발한다.
• 최적화된 버킷 크기와 분할된, 교차 인코딩된 시드 인코딩을 조합하여 압축을 향상시키고 구축 시간을 단축시킨다.
• 각 버킷에 맞게 조정된 압축 체계(예: Rice 인코딩)를 지원하여 전체 공간 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 최소 완전 해싱에서 구축 비용을 최소화하기 위해 기대 버킷 크기의 최적 분포는 무엇인가?
• RQ2 분할된 구축을 사용할 경우, 시드 인코딩을 어떻게 재구성하면 압축 효율성을 높일 수 있는가?
• RQ3 각 파artition의 대응하는 버킷 위치에서 온 시드들을 교차 저장하면 압축과 구축 속도 향상에 기여하는가?
• RQ4 GPU 가속은 최소 완전 해시 함수의 구축 처리량을 어느 정도 향상시킬 수 있는가?
• RQ5 제안된 방법은 기존 최첨단 MPHF 기법들과 비교해 공간, 구축 시간, 쿼리 속도 측면에서 어떻게 다른가?

주요 결과

• PHOBIC는 동일한 쿼리 성능을 유지하면서도 PTHash 대비 0.17 비트/키 더 높은 공간 효율성을 달성한다.
• 1.86 비트/키의 구성에서 유사한 쿼리 시간을 유지할 경우, PHOBIC는 원본 PTHash 구현 대비 83배 더 빠른 속도로 MPHF를 구축한다.
• GPU 가속된 PHOBIC-GPU는 2.17 비트/키에서 28 ns/키의 구축 시간을 달성했으며, CPU에서 쿼리 시간은 37 ns/쿼리였다.
• λ=9 및 교차 인코딩된 Rice 인코딩을 사용할 경우, PHOBIC-GPU는 다중 스레드 CPU 버전 대비 62배 빠른 구축 속도를 달성한다.
• GPU 구축의 에너지 소비는 다중 스레드 CPU 구축 대비 약 30배 낮으며, 피크 단계에서 405W 대비 195W였다.
• 낮은 공간 효율성에도 불구하고, SIMDRecSplit는 PHOBIC보다 더 빠른 구축 속도를 보였으며, 이는 설계 선택의 상호 교환 가능성을 보여준다.