[논문 리뷰] Succinct Data Structures for Retrieval and Approximate Membership

Martin Dietzfelbinger, Rasmus Pagh|ArXiv.org|2008. 03. 26.

Caching and Content Delivery참고 문헌 33인용 수 46

한 줄 요약

이 논문은 $k$-쿼리 시간에 대해 최적에 비해 $1 + e^{-k}$ 요인 이내의 공간 사용을 달성하는 검색 및 근사 멤버십을 위한 압축된 데이터 구조를 제시한다. 이는 이전 방법에서 흔히 발생하는 $\Theta(n)$-비트 오버헤드를 제거한다. 무작위 행렬 이론과 완벽 해싱을 활용하여, 전체 무작위성 가정 하에 고속 쿼리와 거의 최적의 공간 사용을 가능하게 한다. 특히, 고려할 만한 확률로 $n + O(\log \log n)$ 비트를 달성한다.

ABSTRACT

The retrieval problem is the problem of associating data with keys in a set. Formally, the data structure must store a function f: U ->{0,1}^r that has specified values on the elements of a given set S, a subset of U, |S|=n, but may have any value on elements outside S. Minimal perfect hashing makes it possible to avoid storing the set S, but this induces a space overhead of Theta(n) bits in addition to the nr bits needed for function values. In this paper we show how to eliminate this overhead. Moreover, we show that for any k query time O(k) can be achieved using space that is within a factor 1+e^{-k} of optimal, asymptotically for large n. If we allow logarithmic evaluation time, the additive overhead can be reduced to O(log log n) bits whp. The time to construct the data structure is O(n), expected. A main technical ingredient is to utilize existing tight bounds on the probability of almost square random matrices with rows of low weight to have full row rank. In addition to direct constructions, we point out a close connection between retrieval structures and hash tables where keys are stored in an array and some kind of probing scheme is used. Further, we propose a general reduction that transfers the results on retrieval into analogous results on approximate membership, a problem traditionally addressed using Bloom filters. Again, we show how to eliminate the space overhead present in previously known methods, and get arbitrarily close to the lower bound. The evaluation procedures of our data structures are extremely simple (similar to a Bloom filter). For the results stated above we assume free access to fully random hash functions. However, we show how to justify this assumption using extra space o(n) to simulate full randomness on a RAM.

연구 동기 및 목표

• 최소 완벽 해싱 및 검색 데이터 구조에서 $\Theta(n)$-비트 공간 오버헤드를 제거하기 위해.
• $k$-쿼리 시간에 대해 최적에 비해 $1 + e^{-k}$ 이내의 공간 사용을 달성하고, $n$ 이 크기가 클 때 점점 더 최적에 가까워지게 하기 위해.
• 로그arithmic 평가 시간 하에 공간 오버헤드를 $O(\log \log n)$ 비트로 줄이고, 고려할 만한 확률로 달성하기 위해.
• 검색 구조에서 근사 멤버십로의 일반적인 감소를 수립하여, 공간 최적의 블룸 필터 대체 구조를 가능하게 하기 위해.
• RAM에서 전체 무작위 해시 함수의 사용을 정당화하기 위해 $o(n)$ 추가 공간을 사용해 전체 무작위성을 시뮬레이션하기 위해.

제안 방법

• 낮은 무게를 가진 행을 가진 무작위 행렬의 질량에 대한 날카운 경계를 활용하여, 고려할 만한 확률로 전체 행 랭크를 확보하기 위해.
• 가우스 소거법과 이분 그래프에서의 완벽 매칭을 통해 완벽 해시 함수를 구성하여 키를 고유한 위치로 매핑하기 위해.
• 해시 함수를 $m = (1 + \delta)n$개의 단어로 구성된 벡터 $a$로 표현하며, 각 단어는 $r = \lceil \log k \rceil$ 비트로 구성되어 있어 공간 오버헤드를 최소화하기 위해.
• 정확성과 공간 효율성을 유지하면서도 구축 시간을 줄이기 위해 분할 기법을 적용하기 위해.
• 일반적인 변환을 통해 검색 문제를 근사 멤버십으로 감소시켜, 공간 최적의 근사 멤버십 데이터 구조를 가능하게 하기 위해.
• 완전 무작위 해시 함수를 $o(n)$ 추가 공간을 사용해 시뮬레이션하여, 실질적으로 전체 무작위성 가정을 정당화하기 위해.

실험 결과

연구 질문

• RQ1 검색 데이터 구조는 정보 이론적 하한선에 대해 임의로 가까운 공간 사용으로 구성될 수 있는가?
• RQ2 검색 구조에서 $k$-쿼리 시간에 대해 달성 가능한 최소 공간 오버헤드는 무엇이며, 이는 $1 + e^{-k}$로 유계일 수 있는가?
• RQ3 근사 멤버십 구조에서 공간 오버헤드를 거의 최적 수준으로 줄일 수 있는가, 엔트로피 하한선과 일치하는가?
• RQ4 작은 $r$에 대해, 무작위 행렬 랭크 임계값과 $k$-아리 쿠키투 해싱 간의 대응관계는 어느 정도 유지되는가?
• RQ5 공칭 무작위 해시 함수를 사용하지 않고도, 공간이나 시간 효율성을 손상시키지 않고 더 단순한 해시 함수로 대체할 수 있는가?

주요 결과

• 논문은 이전 방법에서 흔한 $\Theta(n)$-비트 오버헤드를 제거하여, 검색에 대해 $n + o(n)$ 비트의 공간 사용을 달성한다.
• 쿼리 시간이 $k$일 경우, 공간 사용은 최적에 비해 $1 + e^{-k}$ 이내이며, 상대적 오버헤드로 $\delta = \beta_k^{-1} - 1$로 표현된다.
• 로그arithmic 평가 시간 하에, 공간 오버헤드는 고려할 만한 확률로 $O(\log \log n)$ 비트로 줄어든다.
• 특히 $k=4$일 경우, 공간 사용은 $2.07n$ 비트로, 이전의 최소 완벽 해싱 기반 구조의 $2.29n$ 비트보다 향상된다.
• RAM에서 $o(n)$ 추가 공간을 사용해 완전 무작위 해시 함수를 시뮬레이션함으로써, 이 구조의 구축을 정당화할 수 있다.
• 일반적인 감소를 통해 검색 구조를 공간 최적의 근사 멤버십 구조로 변환할 수 있으며, 엔트로피 하한선과 정확히 일치한다.