[논문 리뷰] An Optimal Bloom Filter Replacement Based on Matrix Solving

Ely Porat|ArXiv.org|2008. 04. 11.

Caching and Content Delivery참고 문헌 7인용 수 8

한 줄 요약

이 논문은 n개의 키에 대해 k비트 값이 매핑되는 경우, GF(2^k)에서의 행렬 해법을 사용하여 블룸 필터를 대체하는 새로운 공간 최적화된 사전 데이터 구조를 제안한다. 이는 n개의 키에 대해 nk + o(n) 비트의 최적 공간 사용을 달성하며, 쿼리 시간은 O(1)이며, 단지 상호 독립적인 해시 함수만을 사용한다. 이로 인해 기존 방법보다 공간을 크게 절감하면서도 한쪽 오류(오류 양성만)를 유지한다.

ABSTRACT

We suggest a method for holding a dictionary data structure, which maps keys to values, in the spirit of Bloom Filters. The space requirements of the dictionary we suggest are much smaller than those of a hashtable. We allow storing n keys, each mapped to value which is a string of k bits. Our suggested method requires nk + o(n) bits space to store the dictionary, and O(n) time to produce the data structure, and allows answering a membership query in O(1) memory probes. The dictionary size does not depend on the size of the keys. However, reducing the space requirements of the data structure comes at a certain cost. Our dictionary has a small probability of a one sided error. When attempting to obtain the value for a key that is stored in the dictionary we always get the correct answer. However, when testing for membership of an element that is not stored in the dictionary, we may get an incorrect answer, and when requesting the value of such an element we may get a certain random value. Our method is based on solving equations in GF(2^k) and using several hash functions. Another significant advantage of our suggested method is that we do not require using sophisticated hash functions. We only require pairwise independent hash functions. We also suggest a data structure that requires only nk bits space, has O(n2) preprocessing time, and has a O(log n) query time. However, this data structures requires a uniform hash functions. In order replace a Bloom Filter of n elements with an error proability of 2^{-k}, we require nk + o(n) memory bits, O(1) query time, O(n) preprocessing time, and only pairwise independent hash function. Even the most advanced previously known Bloom Filter would require nk+O(n) space, and a uniform hash functions, so our method is significantly less space consuming especially when k is small.

연구 동기 및 목표

• 기존 블룸 필터보다 공간 사용을 크게 줄이고 빠른 쿼리 성능을 유지하면서 사전 데이터 구조를 설계하는 것.
• n개의 키를 k비트 값에 매핑할 때, 정보 이론적 하한에 가까운 nk + o(n) 비트로 공간 요구량을 최소화하는 것.
• 유일한 상호 독립적인 해시 함수만을 사용하여 O(1) 쿼리 시간을 달성함으로써, 이전 방법에서 요구하던 계산 비용이 큰 균일한 해시 함수가 필요 없도록 하는 것.
• 비교적 공간 효율성이 중요한 응용 분야인 암호 필터링, 캐싱, 분산 스토리지 등에 대한 실용적인 블룸 필터 대체 기법을 제공하는 것.
• O(log n) 쿼리 시간과 O(n²) 프리프로세싱을 요구하는 균일한 해시 함수를 사용하는 바이어턴트를 통해 nk 비트의 더 낮은 공간 사용을 탐색하는 것.

제안 방법

• 유한체 GF(2^k)에서의 선형 방정식 시스템으로 키-값 매핑을 표현하고, 행렬 역행렬을 통해 값을 해법한다.
• 다수의 상호 독립적인 해시 함수를 사용하여 키를 행렬의 위치로 매핑함으로써, 값의 효율적 인코딩 및 디코딩을 가능하게 한다.
• O(1) 쿼리 시간 버전의 경우, 시스템을 서브버킷으로 분할하고, 역행렬을 사전에 계산하여 해시 테이블에 저장하여 빠른 검색을 구현한다.
• 서브버킷들 중 동일한 역행렬을 공유하는 그룹을 묶어 워드 수준의 병렬 처리를 통해 행렬-벡터 곱셈을 재사용함으로써 성능 향상을 이룬다.
• 공간 최적화 버전의 경우, n개의 희소 방정식을 n개의 변수에 대해 블록 와이드먼 알고리즘을 사용하여 해법함으로써 공간을 nk 비트로 감소시킨다.
• 구성 방식은 유효한 키는 항상 정확한 값을 반환하고, 비유효 키는 확률 2^(-k)로 오류 양성(거짓 양성)을 반환하도록 보장한다.

실험 결과

연구 질문

• RQ1 정보 이론적 최소값에 더 가까운 공간 사용, 특히 nk + o(n) 비트로 블룸 필터의 대체 구조를 설계할 수 있는가?
• RQ2 균일하거나 유니버설 해시 함수가 필요 없이, 단지 상호 독립적인 해시 함수만으로 O(1) 쿼리 시간을 달성할 수 있는가?
• RQ3 nk 비트의 공간 사용을 유지하면서도 수용 가능한 쿼리 성능과 정확성 보장을 확보할 수 있는 데이터 구조를 설계할 수 있는가?
• RQ4 정적이고 오류 내성 있는 사전에서 공간과 빠른 쿼리 시간을 유지하면서 프리프로세싱 시간을 최소화할 수 있는가?
• RQ5 분산 스토리지나 인터넷 캐싱과 같은 대규모 응용 분야에서 분산 가능하고 확장 가능한 구조로 만들 수 있는가?

주요 결과

• 제안된 데이터 구조는 nk + o(n) 비트의 공간을 사용하며, 이는 하위 항목을 제외한 최적의 공간 사용을 달성하여 기존 블룸 필터보다 공간을 크게 줄였다.
• 단지 상호 독립적인 해시 함수만을 사용하여 O(1) 쿼리 시간을 달성함으로써, 이전 방법에서 요구하던 고비용의 균일한 해시 함수가 필요 없어졌다.
• 이 방법은 한쪽 오류를 지원한다: 유효한 키는 항상 정확한 값을 반환하지만, 비유효 키는 확률 2^(-k)로 오류 양성(거짓 양성)을 반환한다.
• nk 비트의 공간 사용을 위한 변형 버전이 제안되었지만, 이는 O(log n) 쿼리 시간과 O(n²) 프리프로세싱 시간을 요구하며, 균일한 해시 함수에 의존한다.
• 최적화된 행렬 곱셈과 워드 수준 병렬 처리를 통해, 많은 소규모 행렬 시스템을 풀더라도 프리프로세싱 시간을 O(n)으로 줄일 수 있다.
• 이 구조는 암호 필터링, 차별적 데이터베이스, 인터넷 캐싱과 같이 공간과 속도가 중요한 실세계 응용 분야에서 강력하고 실용적인 성능을 보인다.