[논문 리뷰] On Weighted k-mer Dictionaries

Giulio Ermanno Pibiri|arXiv (Cornell University)|2021. 06. 04.

Algorithms and Data Compression인용 수 5

한 줄 요약

이 논문은 최소 완전 해싱 기법인 PTHash에 대해 다중 스레드 및 외부 메모리 구축 알고리즘을 제안한다. 분할의 오버헤드를 피함으로써, 대규모 데이터셋에 대해 효율적으로 스케일링되며, 경쟁 기법 대비 2–6× 빠른 검색 성능을 유지한다. 이는 병렬 처리 또는 외부 저장소를 사용할 때에도 동일하게 적용된다.

ABSTRACT

A function $f : U o \{0,\ldots,n-1\}$ is a minimal perfect hash function for a set $S \subseteq U$ of size $n$, if $f$ bijectively maps $S$ into the first $n$ natural numbers. These functions are important for many practical applications in computing, such as search engines, computer networks, and databases. Several algorithms have been proposed to build minimal perfect hash functions that: scale well to large sets, retain fast evaluation time, and take very little space, e.g., 2 - 3 bits/key. PTHash is one such algorithm, achieving very fast evaluation in compressed space, typically several times faster than other techniques. In this work, we propose a new construction algorithm for PTHash enabling: (1) multi-threading, to either build functions more quickly or more space-efficiently, and (2) external-memory processing to scale to inputs much larger than the available internal memory. Only few other algorithms in the literature share these features, despite of their big practical impact. We conduct an extensive experimental assessment on large real-world string collections and show that, with respect to other techniques, PTHash is competitive in construction time and space consumption, but retains 2 - 6$ imes$ better lookup time.

연구 동기 및 목표

• 대규모 키 세트에 대해 PTHash의 병렬 및 외부 메모리 구축을 가능하게 하기 위해.
• 기존의 분할 기반 접근 방식에서 발생하는 성능 및 공간 오버헤드 문제를 해결하기 위해.
• 수십억 개의 키로 확장되는 구축 과정 동안에도 PTHash의 뛰어난 검색 속도를 유지하기 위해.
• 순차적/내부 메모리, 병렬/내부 메모리, 순차적/외부 메모리, 병렬/외부 메모리 환경에 유연하게 적응할 수 있는 통합 알고리즘을 제공하기 위해.

제안 방법

• 다중 스레딩 및 외부 메모리와 호환되는 방식으로 키를 처리함으로써 분할을 피하는 새로운 일반적인 PTHash 구축 알고리즘을 제안한다.
• p1 = 0.6n 및 p2 = 0.3m로 설정된 임계값을 사용하는 두 단계의 버킷 전략을 통해 키를 고부하 및 저부하 버킷으로 논리적 분할한다.
• McDiarmid의 부등식을 적용하여 부하 계수 α≥t가 기대값 주위에 밀도 있게 집중됨을 보이며, 성능 예측 가능성을 확보한다.
• 버킷 크기에 대한 포isson 근사법을 사용하여 구축 과정 중 예상 시도 횟수의 범위를 유도한다.
• 독립적인 키 세그먼트 처리를 허용함으로써 다중 스레딩을 통합하고, 스레드 간 로드 밸런싱을 수행한다.
• 입력 데이터 스트리밍 및 청크 단위 처리를 통해 외부 메모리 지원을 구현하여 메모리 사용량을 최소화한다.

실험 결과

연구 질문

• RQ1 PTHash의 구축 과정은 공간 효율성과 검색 속도를 유지하면서도 효율적으로 병렬화될 수 있는가?
• RQ2 외부 저장소를 사용하여 주 메모리보다 큰 입력 데이터에 대해 PTHash를 확장할 수 있는가?
• RQ3 새로운 구축 방법은 분할 기반 접근 방식 대비 구축 시간, 공간 사용량, 검색 성능 측면에서 어떻게 비교되는가?
• RQ4 새로운 알고리즘은 병렬 처리 및 외부 메모리 실행 환경에서도 PTHash의 2–6× 검색 속도 우수성을 유지하는가?
• RQ5 새로운 방법에 따라 구축 과정 중 예상 시도 횟수에 대해 이론적으로 어떤 보장을 제공할 수 있는가?

주요 결과

• 새로운 PTHash 구축 방법은 병렬 처리 또는 외부 메모리 사용 시에도 경쟁 기법 대비 2–6× 더 빠른 검색 시간을 달성한다.
• 구축 시간과 공간 사용량이 병렬 처리 및 외부 메모리 지원 기능을 갖춘 최신 기술과 경쟁 가능하다.
• 기존 분할 기반 MPHF에서 흔히 발생하는 30–50%의 검색 속도 저하 및 20%의 공간 증가 문제를 피한다.
• 이론적 분석을 통해 큰 버킷의 경우 한 버킷당 예상 시도 횟수가 상수로 유 bounds됨을 확인하였고, 작은 버킷의 경우는 느리게 증가함을 입증하였다.
• 순차적/내부 메모리, 병렬/내부 메모리, 순차적/외부 메모리, 병렬/외부 메모리의 네 가지 환경 모두에서 효율적으로 스케일링됨을 입증하였다.
• 실세계 문자열 컬렉션(수천만에서 수십억 개의 문자열)에 대한 실증적 평가를 통해 높은 성능과 확장성을 확인하였다.