[論文レビュー] More Haste, Less Waste: Lowering the Redundancy in Fully Indexable Dictionaries

Roberto Grossi, Alessio Orlandi+2 more|ArXiv.org|Feb 16, 2009

Algorithms and Data Compression参考文献 25被引用数 12

ひとこと要約

この論文は、情報理論的最小限の空間に近い空間で定数時間の rank/select 操作を実現する、パrametricな完全索引可能辞書（FID）を提示する。圧縮されたビットベクトル表現における冗長性を低減し、再帰的な階層的分解とマルチランク、そして要約された文字列 B-木を用いることで、$ B(n,m) + O(n^{1+u} + n(m/n^s)^\rho) $ ビットの冗長性を達成し、一般の $ n \leq m $ の場合において、従来の境界を著しく改善する。

ABSTRACT

We consider the problem of representing, in a compressed format, a bit-vector $S$ of $m$ bits with $n$ 1s, supporting the following operations, where $b \in \{0, 1 \}$: $rank_b(S,i)$ returns the number of occurrences of bit $b$ in the prefix $S[1..i]$; $select_b(S,i)$ returns the position of the $i$th occurrence of bit $b$ in $S$. Such a data structure is called \emph{fully indexable dictionary (FID)} [Raman et al.,2007], and is at least as powerful as predecessor data structures. Our focus is on space-efficient FIDs on the extsc{ram} model with word size $Θ(\lg m)$ and constant time for all operations, so that the time cost is independent of the input size. Given the bitstring $S$ to be encoded, having length $m$ and containing $n$ ones, the minimal amount of information that needs to be stored is $B(n,m) = \lceil \log {{m}\choose{n}} ceil$. The state of the art in building a FID for $S$ is given in [Patrascu,2008] using $B(m,n)+O(m / ((\log m/ t) ^t)) + O(m^{3/4}) $ bits, to support the operations in $O(t)$ time. Here, we propose a parametric data structure exhibiting a time/space trade-off such that, for any real constants $0 < δ\leq 1/2$, $0 < \eps \leq 1$, and integer $s > 0$, it uses \[ B(n,m) + O(n^{1+δ} + n (\frac{m}{n^s})^\eps) \] bits and performs all the operations in time $O(sδ^{-1} + \eps^{-1})$. The improvement is twofold: our redundancy can be lowered parametrically and, fixing $s = O(1)$, we get a constant-time FID whose space is $B(n,m) + O(m^\eps/\poly{n})$ bits, for sufficiently large $m$. This is a significant improvement compared to the previous bounds for the general case.

研究の動機と目的

• 圧縮ビットベクトルにおける完全索引可能辞書（FID）の冗長性を低減すること。ここで、$ m $ ビット中に $ n $ 個の 1 が存在する。
• 情報理論的下界 $ B(n,m) = \lceil \log{m \choose n} \rceil $ を超える追加空間を最小限に抑えながら、定数時間の rank および select 操作を達成すること。
• 冗長性とクエリ時間の時間/空間のトレードオフを可能とするパrametric制御を提供すること。
• 一般の $ n \leq m $ の場合において、特に $ n = o(m / \mathrm{polylog}(m)) $ の場合に、定数時間クエリに対して $ O(m^\varepsilon / \mathrm{poly}(n)) $ の冗長性にまで低減できるかを向上させること。

提案手法

• ビットベクトルをより小さな系列に再帰的に階層的分解し、$ s $ レベルにわたり定理 4.3 を繰り返し適用する。
• スーパーブロック間のマルチランクを用いて、再帰的 FID インスタンスを介して段階的に $ \mathtt{rank}_1 $ クエリをサポートする。
• 要約された文字列 B-木を用いて、圧縮構造内での前駆者を効率的にナビゲートおよび特定する。
• 同じメカニズムを $ \mathtt{select}_1 $ に使用するのと同様に、$ \mathtt{select}_0 $ 操作をサポートするため、集合の二重表現を用いる。
• 各ブロックの最上位ビットを効率的に格納およびクエリ可能にするために、ハイビットマルチセット表現（$ H' $）を導入する。
• 残りのユニバースサイズがブロックサイズ未満に下がった場合に再帰を早期に停止し、最終セグメント用に小さな FID を使用する。

実験結果

リサーチクエスチョン

• RQ1 定数時間の操作を維持しながら、パrametricに完全索引可能辞書の冗長性を低減できるか？
• RQ2 $ \mathtt{rank}_b $ および $ \mathtt{select}_b $ 操作を $ O(s\delta^{-1} + \varepsilon^{-1}) $ 時間で実行可能な FID の最小冗長性は何か？
• RQ3 一般の $ n \leq m $ の場合において、$ n $、$ m $、およびパramータ $ \delta $、$ \varepsilon $、$ s $ が冗長性にどのように影響するか？
• RQ4 定数時間クエリであっても、$ n = o(m / \mathrm{polylog}(m)) $ の場合に、冗長性を $ O(m^\varepsilon / \mathrm{poly}(n)) $ にまで低減できるか？

主な発見

• 任意の $ 0 < \delta \leq 1/2 $、$ 0 < \varepsilon \leq 1 $、および正の整数 $ s > 0 $ に対して、提案された FID は $ B(n,m) + O(n^{1+\delta} + n(m/n^s)^\varepsilon) $ ビットの冗長性を達成する。
• $ s = O(1) $ の場合、データ構造は $ O(\delta^{-1} + \varepsilon^{-1}) $ 時間ですべての操作をサポートし、冗長性が $ O(m^\varepsilon / \mathrm{poly}(n)) $ にまで低減され、従来の境界を著しく改善する。
• 空間の上限は再帰のルートレベルに支配され、$ B(n_i, m_i) + O(n_i^{1+\delta}) $ 項の幾何級数的減少により、全冗長性はルートの寄与に漸近的に有界であることが保証される。
• $ \mathtt{select}_0 $ は、集合をその双対に変換し、$ \mathtt{select}_1 $ に使用した同じ再帰的メカニズムを適用することでサポートされる。
• マルチランク、要約された文字列 B-木、およびハイビットマルチセット表現の組み合わせにより、効率的なナビゲーションおよび前駆者クエリが可能になる。
• 再帰の深さがユニバースサイズがブロックサイズ未満に下がる点に達した場合、小さな FID が使用され、全体の境界に無視できるほどの冗長性を追加する。