[논문 리뷰] Learned Monotone Minimal Perfect Hashing

Paolo Ferragina, Hans‐Peter Lehmann외 2명|arXiv (Cornell University)|2023. 01. 01.

Advanced Image and Video Retrieval Techniques인용 수 1

한 줄 요약

LeMonHash는 키 순위를 추정하는 데(piecewise linear model, PGM-index)와 충돌을 해결하는 데(retrieval structure, BuRR) 기반을 두어, 정수 데이터셋에서 최고의 경쟁자 대비 최대 34% 낮은 공간 사용량과 19배 빠른 쿼리 성능을 달성하는 학습 기반 단조 감소 최소 완전 해싱 기법이다. 또한 가변 길이 문자열을 위한 LeMonHash-VL을 도입하여 최고 수준의 공간 사용량을 유지하면서 최대 3배 빠른 쿼리 성능을 제공한다.

ABSTRACT

A Monotone Minimal Perfect Hash Function (MMPHF) constructed on a set S of keys is a function that maps each key in S to its rank. On keys not in S, the function returns an arbitrary value. Applications range from databases, search engines, data encryption, to pattern-matching algorithms. In this paper, we describe LeMonHash, a new technique for constructing MMPHFs for integers. The core idea of LeMonHash is surprisingly simple and effective: we learn a monotone mapping from keys to their rank via an error-bounded piecewise linear model (the PGM-index), and then we solve the collisions that might arise among keys mapping to the same rank estimate by associating small integers with them in a retrieval data structure (BuRR). On synthetic random datasets, LeMonHash needs 34% less space than the next larger competitor, while achieving about 16 times faster queries. On real-world datasets, the space usage is very close to or much better than the best competitors, while achieving up to 19 times faster queries than the next larger competitor. As far as the construction of LeMonHash is concerned, we get an improvement by a factor of up to 2, compared to the competitor with the next best space usage. We also investigate the case of keys being variable-length strings, introducing the so-called LeMonHash-VL: it needs space within 13% of the best competitors while achieving up to 3 times faster queries than the next larger competitor.

연구 동기 및 목표

• 정수 및 문자열 키에 대해 단조 감소 최소 완전 해싱(MMPHF)에서 낮은 공간 사용량과 높은 쿼리 속도를 동시에 달성하는 데 오랫동안 지속된 과제를 해결하기 위해.
• 학습 기반 데이터 구조가 실질적으로 기존 트라이 기반 MMPHF 설계를 능가할 수 있는지 탐색하기 위해.
• 자료의 연속성과 국소적 균일성을 활용하여 공간을 최소화하고 구축 및 쿼리 시간을 가속화하는 방법을 개발하기 위해.
• 최소한의 공간 오버헤드와 높은 성능로 가변 길이 문자열으로의 접근을 확장하기 위해.

제안 방법

• 키를 추정 순위로 매핑하는 단조 감소, 오차 제한이 있는 조각별 선형 근사 모델을 학습하기 위해 PGM-index를 활용하기 위해.
• 각 버킷의 첫 번째 키의 전역 순위를 저장하기 위해 압축된 데이터 구조를 사용하여 빠른 순위 검색을 가능하게 하기 위해.
• 버킷 내 충돌을 해결하기 위해 키를 직접 저장하지 않고 BuRR 검색 구조를 사용하여 국소 순위를 저장하기 위해.
• 가변 길이 문자열을 효율적으로 처리하기 위해 LeMonHash-VL에서 알파벳 축소와 재귀 임계값을 적용하기 위해.
• 세그먼트 길이와 충돌 해결 간의 균형을 맞추기 위해 PGM 매핑기의 고정 오차 한계(정수의 경우 ε = 31, 문자열의 경우 ε = 63)를 최적화하기 위해.
• 두 수준의 계층으로 구성된 PGM과 BuRR 컴포넌트 통합: 전역 버킷 순위 색인 후 국소 충돌 해결

실험 결과

연구 질문

• RQ1 학습 기반 접근 방식이 정수 데이터셋에서 공간 사용량과 쿼리 속도 측면에서 기존 트라이 기반 MMPHF 설계를 능가할 수 있는가?
• RQ2 조각별 선형 모델(PGM)과 검색 구조(BuRR)의 조합이 O(1) 쿼리 시간을 유지하면서 공간 사용량을 최소화하는 데 얼마나 효과적인가?
• RQ3 키 분포에서의 자료의 연속성과 국소적 균일성이 공간과 구축 시간을 줄이는 데 얼마나 활용될 수 있는가?
• RQ4 학습 기반 접근 방식을 경쟁적인 공간 및 성능 특성을 유지하면서 가변 길이 문자열으로 확장할 수 있는가?
• RQ5 오차 제한이 있는 조각별 선형 모델의 사용이 실질적으로 초선형 공간 하한을 깨는가?

주요 결과

• 합성 무작위 정수 데이터셋에서 LeMonHash는 다음으로 우수한 경쟁자 대비 최대 34% 낮은 공간 사용량과 16배 빠른 쿼리 처리량을 달성한다.
• 실제 정수 데이터셋에서 LeMonHash는 최고의 경쟁자들과 비교해 유사하거나 더 낮은 공간 사용량을 유지하면서 최대 19배 빠른 쿼리 성능을 달성한다.
• 공간 사용량 측면에서 다음으로 우수한 경쟁자 대비 LeMonHash는 구축 처리량을 최대 2배 향상시킨다.
• LeMonHash-VL은 문자열 데이터셋에서 최고의 경쟁자들과 비교해 최대 13% 이내의 공간 사용량을 유지하면서 최대 3배 빠른 쿼리 처리량을 제공한다.
• 대부분의 테스트 데이터셋에서 LeMonHash는 공간, 구축, 쿼리 성능의 모든 측면에서 모든 경쟁자를 동시에 능가한다.
• 국소 균일성과 오차 제한이 있는 PGM 모델링을 결합함으로써 실질적으로 초선형 공간 하한을 깨는 방법을 제시한다.