[論文レビュー] A Dynamic Space-Efficient Filter with Constant Time Operations

Ioana O. Bercea, Guy Even|arXiv (Cornell University)|Nov 12, 2019

Coding theory and cryptography参考文献 43被引用数 9

ひとこと要約

本稿では、ランダムな多重集合に対して、最悪計算量で定数時間、高確率で挿入、削除、メンバーシップクエリをサポートする、初めての完全動的で空間効率の良い辞書を提示する。これは、定数個のメモリアクセスのみを用いる。この辞書を基に、著者らは、最悪計算量で定数時間の操作と、有界な誤検出確率を備えた、初めてのメモリ内かつ空間効率の良い完全動的フィルタを設計する。空間使用量は最適であり、最悪計算量の保証も達成される。

ABSTRACT

A fully-dynamic dictionary is a data structure for maintaining sets that supports insertions, deletions and membership queries. A filter approximates membership queries with a one-sided error. We present two designs: 1. The first space-efficient fully-dynamic dictionary that maintains both sets and random multisets and supports queries, insertions, and deletions with a constant number of memory accesses in the worst case with high probability. The comparable dictionary of Arbitman, Naor, and Segev [FOCS 2010] works only for sets. 2. By a reduction from our dictionary for random multisets, we obtain a space-efficient fully-dynamic filter that supports queries, insertions, and deletions with a constant number of memory accesses in the worst case with high probability (as long as the false positive probability is $2^{-O(w)}$, where $w$ denotes the word length). This is the first in-memory space-efficient fully-dynamic filter design that provably achieves these properties. We also present an application of the techniques used to design our dictionary to the static Retrieval Problem.

研究の動機と目的

• ランダムな多重集合をサポートする完全動的辞書を設計し、定数時間の操作と最適な空間使用量を達成する。
• 最悪計算量で定数時間の操作と、高確率で有界な誤検出確率を備えた完全動的フィルタを構築する。
• 両方の辞書とフィルタについて、情報理論的下界に一致する空間効率を達成する。
• ランダムな多重集合の性質を活用して、任意の重複度を許容する動的データ構造の適用範囲を拡張する。
• 提案された辞書を用いて、最適な空間と時間計算量を達成する静的リトリーブ問題への新しい応用を示す。

提案手法

• 完全ハッシュ、可変長辞書（VarPD および VarCSD）、およびオーバーフロー処理のためのポケットモーテルを組み合わせて、ランダムな多重集合のための新しい動的辞書（Crate Dictionary）を設計する。
• 適応的剰余のサイズを制御し、高確率での空間境界を保証するために、相対的スパarsityパラメータ w = Ω(log n) を用いる。
• Carter ら [CFG+78] の還元を適用して、ランダムな多重集合用の Crate Dictionary を、誤検出確率 ε が有界な完全動的フィルタに変換する。
• スパarsな場合（小規模なユニバース対セット比）と密度の高い場合（大規模な比）の2ケースに分けて構築し、それぞれ空間とアクセス時間の最適化を図る。
• コアデータ構造において剰余値 r(x) の代わりにポインタベースのストレージ ptr(x) を用いることで、空間を削減し、局所性を向上させる。
• 適応的剰余を格納し、オーバーフローの高確率での回避を可能にするために、動的にサイズを調整する可変長辞書（VarPD および VarCSD）を導入する。

実験結果

リサーチクエスチョン

• RQ1 ランダムな多重集合に対して、最悪計算量で定数時間の操作と最適な空間使用量を達成する完全動的辞書を設計することは可能か？
• RQ2 メモリ内データ構造のみを用いて、最悪計算量で定数時間の操作と有界な誤検出確率を備えた完全動的フィルタを構築することは可能か？
• RQ3 ランダムな多重集合の性質をどのように活用すれば、動的フィルタで最悪計算量の定数時間性能を達成できるか？
• RQ4 最悪入力シーケンス下で、完全動的辞書およびフィルタで定数時間の操作を維持するために必要な最小の空間オーバーヘッドは何か？
• RQ5 動的辞書で用いられた技術を、最適な空間と時間計算量を達成する静的リトリーブ問題に適応できるか？

主な発見

• Crate Dictionary は、高確率で、1操作あたり最大 4 · log(|U|/n)/w + O(1) 回のメモリアクセスで挿入、削除、クエリをサポートし、(1 + o(1)) · n log(|U|/n) + O(n) ビットの空間を使用する。
• Crate Filter は、高確率で定数時間の操作を達成し、(1 + o(1)) · n log(1/ε) + O(n) ビットの空間を必要とし、フィルタの情報理論的下界に一致する。
• 任意の多項式長の操作シーケンスにおいて、辞書は高確率でオーバーフローしない。これは、最悪ワークロード下でも耐障害性を保証する。
• Crate Dictionary から Crate Filter への還元により、誤検出確率が ε 以下に保証される。
• Crate Dictionary から構築された静的リトリーブデータ構造は、k = O(log log n) のとき (1 + o(1)) · nk + O(n) ビットを用い、k = ω(log log n) のとき (1 + o(1)) · nk ビットを用い、リトリーブ問題の最適空間を達成する。
• データ構造の構築は、オーバーフロー発生時に再ハッシュ戦略を用いることで、高確率で O(n) 時間で完了する。