[논문 리뷰] More Haste, Less Waste: Lowering the Redundancy in Fully Indexable Dictionaries

Roberto Grossi, Alessio Orlandi외 2명|ArXiv.org|2009. 02. 16.

Algorithms and Data Compression참고 문헌 25인용 수 12

한 줄 요약

이 논문은 압축된 비트벡터 표현에서 부호화 이론적 최소값에 가까운 공간을 사용하면서도 상수시간 랭크/셀렉트 연산을 지원하는 매개변수화된 완전색인 가능 사전(FID)을 제안한다. 계층적 분해와 다중랭킹, 압축된 문자열 B-트리 기반의 반복적 적용을 통해, 일반적인 $ n \leq m $ 경우에 대해 $ B(n,m) + O(n^{1+\delta} + n(m/n^s)^\varepsilon) $ 비트의 부재를 달성하며, 이는 이전의 경계보다 크게 향상된 결과이다.

ABSTRACT

We consider the problem of representing, in a compressed format, a bit-vector $S$ of $m$ bits with $n$ 1s, supporting the following operations, where $b \in \{0, 1 \}$: $rank_b(S,i)$ returns the number of occurrences of bit $b$ in the prefix $S[1..i]$; $select_b(S,i)$ returns the position of the $i$th occurrence of bit $b$ in $S$. Such a data structure is called \emph{fully indexable dictionary (FID)} [Raman et al.,2007], and is at least as powerful as predecessor data structures. Our focus is on space-efficient FIDs on the extsc{ram} model with word size $Θ(\lg m)$ and constant time for all operations, so that the time cost is independent of the input size. Given the bitstring $S$ to be encoded, having length $m$ and containing $n$ ones, the minimal amount of information that needs to be stored is $B(n,m) = \lceil \log {{m}\choose{n}} ceil$. The state of the art in building a FID for $S$ is given in [Patrascu,2008] using $B(m,n)+O(m / ((\log m/ t) ^t)) + O(m^{3/4}) $ bits, to support the operations in $O(t)$ time. Here, we propose a parametric data structure exhibiting a time/space trade-off such that, for any real constants $0 < δ\leq 1/2$, $0 < \eps \leq 1$, and integer $s > 0$, it uses \[ B(n,m) + O(n^{1+δ} + n (\frac{m}{n^s})^\eps) \] bits and performs all the operations in time $O(sδ^{-1} + \eps^{-1})$. The improvement is twofold: our redundancy can be lowered parametrically and, fixing $s = O(1)$, we get a constant-time FID whose space is $B(n,m) + O(m^\eps/\poly{n})$ bits, for sufficiently large $m$. This is a significant improvement compared to the previous bounds for the general case.

연구 동기 및 목표

• 압축된 비트벡터에서 $ n $개의 1이 포함된 경우, 완전색인 가능 사전(FID)의 부재를 줄이는 것.
• 정보 이론적 하한값 $ B(n,m) = \lceil \log{m \choose n} \rceil $ 이외의 추가 공간을 최소화하면서도 상수시간 랭크 및 셀렉트 연산을 달성하는 것.
• 부재와 쿼리 시간 간의 시간/공간 트레이드오프를 매개변수 제어로 가능하게 하는 것.
• 일반적인 경우 $ n \leq m $ 에서 이전의 경계를 향상시키며, 상수 시간 쿼리에 대해 $ O(m^\varepsilon / \mathrm{poly}(n)) $ 의 부재로 감소시키는 것.

제안 방법

• 비트벡터를 더 작은 시퀀스로 계층적으로 재귀적으로 분해하고, $ s $ 단계에 걸쳐 정리 4.3을 반복 적용하는 것.
• 초블록 간의 다중랭킹을 활용하여, 재귀적 FID 인스턴스를 통해 계단식으로 $ \mathtt{rank}_1 $ 쿼리를 지원하는 것.
• 압축된 구조 내에서 조상 요소를 효율적으로 탐색하고 위치를 찾기 위해 압축된 문자열 B-트리를 적용하는 것.
• $ \mathtt{select}_0 $ 연산을 위해 동일한 기계를 $ \mathtt{select}_1 $ 에 사용하는 방식으로 집합의 이중 표현을 활용하는 것.
• 각 블록의 가장 높은 비트를 압축적으로 저장하고 쿼리할 수 있도록 고비트 다중집합 표현($ H' $)을 도입하는 것.
• 남은 유니버스 크기가 블록 크기 이하로 떨어지면 재귀를 조기에 종료하고, 최종 세그먼트에 대해 작은 FID를 사용하는 것.

실험 결과

연구 질문

• RQ1 완전색인 가능 사전의 부재를 상수시간 연산을 유지하면서도 매개변수화된 방식으로 줄일 수 있는가?
• RQ2 $ \mathtt{rank}_b $ 와 $ \mathtt{select}_b $ 를 $ O(s\delta^{-1} + \varepsilon^{-1}) $ 시간 내에 지원하는 FID의 최소 부재는 얼마인가?
• RQ3 일반적인 경우 $ n \leq m $ 에서 $ n $, $ m $ 과 매개변수 $ \delta $, $ \varepsilon $, $ s $ 가 부재에 어떻게 영향을 미치는가?
• RQ4 조금도 $ m / \mathrm{polylog}(m) $ 이하인 경우에도 상수 시간 쿼리에 대해 부재를 $ O(m^\varepsilon / \mathrm{poly}(n)) $ 로 줄일 수 있는가?

주요 결과

• 제안된 FID는 임의의 $ 0 < \delta \leq 1/2 $, $ 0 < \varepsilon \leq 1 $, 정수 $ s > 0 $ 에 대해 $ B(n,m) + O(n^{1+\delta} + n(m/n^s)^\varepsilon) $ 비트의 부재를 달성한다.
• $ s = O(1) $ 인 경우, 데이터 구조는 $ O(\delta^{-1} + \varepsilon^{-1}) $ 시간 내에 모든 연산을 지원하며, 부재는 $ O(m^\varepsilon / \mathrm{poly}(n)) $ 로 줄여 이전의 경계를 크게 향상시킨다.
• 공간 경계는 재귀의 루트 수준에 의해 지배되며, $ B(n_i, m_i) + O(n_i^{1+\delta}) $ 항의 기하급수적 감소가 전체 부재가 점근적으로 루트 기여도에 의해 제한됨을 보장한다.
• $ \mathtt{select}_0 $ 는 집합을 이중으로 변환하고 $ \mathtt{select}_1 $ 에 사용된 동일한 재귀적 기계를 적용함으로써 지원된다.
• 다중랭킹, 압축된 문자열 B-트리, 고비트 다중집합 표현의 조합을 통해 효율적인 탐색 및 조상 쿼리가 가능해진다.
• 재귀 깊이가 유니버스 크기가 블록 크기 이하로 떨어지는 지점에 도달하면, 작은 FID를 사용하며 이는 총 경계에 거의 영향을 주지 않는다.