[논문 리뷰] Perfect Hashing for Data Management Applications

Fabiano C. Botelho, Rasmus Pagh외 1명|ArXiv.org|2007. 02. 27.

Algorithms and Data Compression참고 문헌 30인용 수 5

한 줄 요약

이 논문은 이론적으로 최소한의 공간을 사용하는 최소 완전 해시 함수(MPHF)를 구성하기 위한 새로운 확장 가능한 알고리즘을 제안한다. 이 알고리즘은 키당 약 3비트 이내의 이론적 공간 한계에 근접하면서도, 수십억 규모의 데이터셋에서도 실용적으로 작동한다. 이론적으로 타당한 설계와 메모리 계층 최적화를 융합함으로써, 일반적인 PC에서 수십억 개의 URL에 대해 1.5시간 이내에 MPHF를 구성할 수 있었으며, 이는 이전 방법들보다 속도 면에서 약 10배 빠르고 공간 사용량도 크게 줄였다.

ABSTRACT

Perfect hash functions can potentially be used to compress data in connection with a variety of data management tasks. Though there has been considerable work on how to construct good perfect hash functions, there is a gap between theory and practice among all previous methods on minimal perfect hashing. On one side, there are good theoretical results without experimentally proven practicality for large key sets. On the other side, there are the theoretically analyzed time and space usage algorithms that assume that truly random hash functions are available for free, which is an unrealistic assumption. In this paper we attempt to bridge this gap between theory and practice, using a number of techniques from the literature to obtain a novel scheme that is theoretically well-understood and at the same time achieves an order-of-magnitude increase in performance compared to previous ``practical'' methods. This improvement comes from a combination of a novel, theoretically optimal perfect hashing scheme that greatly simplifies previous methods, and the fact that our algorithm is designed to make good use of the memory hierarchy. We demonstrate the scalability of our algorithm by considering a set of over one billion URLs from the World Wide Web of average length 64, for which we construct a minimal perfect hash function on a commodity PC in a little more than 1 hour. Our scheme produces minimal perfect hash functions using slightly more than 3 bits per key. For perfect hash functions in the range $\{0,...,2n-1\}$ the space usage drops to just over 2 bits per key (i.e., one bit more than optimal for representing the key). This is significantly below of what has been achieved previously for very large values of $n$.

연구 동기 및 목표

• 대규모 데이터 관리 응용 분야에서 이론적 최소 완전 해시 함수와 실용적 구현 간 격차를 메우기 위한 것이다.
• 진정으로 무작위 해시 함수를 무료로 이용할 수 있다는 비현실적인 가정에 의존하지 않고도, 이론적으로 최적에 가까운 공간 사용(약 1.4427n 비트)을 달성하기 위한 방법을 설계하기 위한 것이다.
• 일반적인 하드웨어에서 최대 수십억 개의 키를 가진 데이터셋에 대해 효율적인 MPHF를 구성할 수 있도록 하기 위한 것이다.
• 이론적 보장 조건을 유지하면서도 실제 워크로드에 적합한, 증명 가능하게 올바른 외부 메모리 알고리즘을 제공하기 위한 것이다.
• 큰 키 세트에 대해 기존 실용적 방법들보다 공간 효율성과 구축 속도 면에서 모두 뛰어나게 만들기 위한 것이다.

제안 방법

• 내부 알고리즘은 토르우프의 가족에서 유도된 두 개의 보편 해시 함수를 사용하여 진정한 무작위 함수를 시뮬레이션하고, 사이클이 없는 무작위 그래프 구조를 통해 완전 해시 함수를 구성한다.
• 외부 알고리즘은 이상화된 무작위 함수 대신, 임의의 키 세트에 대해 정확성을 보장하는 룩업 테이블 기반의 증명 가능하게 좋은 구현을 사용한다.
• 알고리즘은 데이터 접근 방식을 최적화하여 캐시 미스와 I/O 연산을 최소화함으로써, 대규모 데이터셋에서의 성능을 향상시킨다.
• 외부 알고리즘의 히우리스틱 변형은 제닝스의 빠른 의사난수 해시 함수를 사용하여 평가 시간을 줄이며, 이론적 보장 조건을 일부 포기함으로써 속도를 높인다.
• 알고리즘은 결과 MPHF의 값이 {0, ..., n-1} (최소) 또는 {0, ..., 2n-1} 범위에 있도록 설계되어 있으며, 후자의 경우 키당 약 2비트 이식을 줄일 수 있다.
• 외부 메모리 최적화를 위해 다단계 접근 방식을 사용하여 키 세트를 분할하고 디스크 및 주 메모리 간에 효율적으로 처리한다.

실험 결과

연구 질문

• RQ1 대규모 데이터 관리 응용 분야에서 이론적으로 잘 이해된 완전 해시 체계와 실용적인 효율성을 동시에 확보할 수 있는가?
• RQ2 큰 n에 대해 이론적 하한선인 1.4427n 비트에 근접한 공간 사용을 달성할 수 있는 최소 완전 해시 함수를 구성할 수 있는가?
• RQ3 일반적인 하드웨어에서 수십억 개 이상의 키를 가진 데이터셋에 대해 MPHF의 구축을 실용적으로 가능하게 할 수 있는가?
• RQ4 메모리 계층 인식 기술은 완전 해시 함수 구축 알고리즘의 성능을 어떻게 향상시킬 수 있는가?
• RQ5 이전 방법들이 비현실적인 가정에 의존하는 문제점을 피하면서도 증명 가능하게 올바른 외부 메모리 알고리즘을 설계할 수 있는가?

주요 결과

• 외부 알고리즘이 일반적인 PC에서 수십억 개의 URL에 대해 최소 완전 해시 함수를 구성하는 데 약 1시간 10분이 채 걸리며, 이는 이전 실용적 방법들보다 약 10배 빠른 속도 향상이다.
• 최소 완전 해시 함수의 경우 키당 약 3비트 이상의 공간 사용을 달성했으며, {0, ..., 2n-1} 범위를 사용할 경우 키당 약 2비트 이상으로 공간 사용량을 줄일 수 있다.
• {0, ..., 2n-1} 범위를 사용할 경우 결과 MPHF는 324MB 미만의 저장 공간만 필요하며, 32비트 워드에 완전히 수용 가능하다.
• 외부 알고리즘의 히우리스틱 변형은 평가 시간을 이전 방법들보다 약 두 배 이내로 줄였으며, 유사한 공간 효율성을 유지한다.
• 이 외부 알고리즘은 이상화된 가정에 의존하지 않고도, 수십억 개의 키 세트에 대해 증명 가능하게 정확하고 실용적으로 확장 가능한 최초의 알고리즘이다.
• 이 알고리즘은 LGPL 라이선스 하에 공개되어 있어, 데이터 관리 및 정보 검색 시스템에서의 도입을 가능하게 한다.