[論文レビュー] Bloomier Filters: A second look

Denis Charles, Kumar Chellapilla|ArXiv.org|Jul 6, 2008

Caching and Content Delivery参考文献 11被引用数 5

ひとこと要約

本稿では、定数時間クエリ性能を備えた静的集合上の関数をコンパクトに格納する、簡素化された線形時間のブルームャー・フィルタの構築法を提示する。ランダムな有路グラフとモジュラ演算を活用することで、従来の方法と比較して構築速度を向上（O(n) 対 O(n log n)）しつつ、類似の空間効率と O(1) のクエリ時間の維持を実現し、更新効率の低下というトレードオフを伴う。

ABSTRACT

A Bloom filter is a space efficient structure for storing static sets, where the space efficiency is gained at the expense of a small probability of false-positives. A Bloomier filter generalizes a Bloom filter to compactly store a function with a static support. In this article we give a simple construction of a Bloomier filter. The construction is linear in space and requires constant time to evaluate. The creation of our Bloomier filter takes linear time which is faster than the existing construction. We show how one can improve the space utilization further at the cost of increasing the time for creating the data structure.

研究の動機と目的

• 静的集合上の関数をコンパクトに符号化する、より単純で高速なブルームャー・フィルタの構築法の開発。
• ブルームャー・フィルタの作成時間を O(n log n) から O(n) に短縮し、従来の方法を改善すること。
• O(1) のクエリ時間と、既存の手法と同等の空間効率を維持すること。
• 構築時間、空間使用量、動的更新のサポートとの間のトレードオフを調査すること。
• 実世界のデータ（例：URL のイン-degree 情報）における新規構築法の実用的性能を評価すること。

提案手法

• 2つの独立したハッシュ関数 h₁ と h₂ を用いて、要素を頂点にマッピングするランダムな有路グラフを構築し、O(n) 個の頂点を持ち、定数確率で有路であることを保証する。
• 1ビット関数の場合、グラフの頂点上でモジュロ 2 の線形方程式系をバックサブスティチューション法で解き、値をテーブル g: V → {0,1} に格納する。
• k ビット関数への一般化には、m ≥ 2 である環 ℤ/mℤ と追加のハッシュ関数 h₃ を用い、f(x) ≡ g(h₁(x)) + g(h₂(x)) + h₃(x) (mod m) として関数値を符号化する。
• 有路グラフの木構造のおかげで、バックサブスティチューションにより O(n) 時間で方程式系を解ける。
• バケット化技術を適用して、より空間効率の高いバージョンの O(n³) の作成時間を O(n log^{O(1)} n) に低減させ、実用性を向上させる。
• k ビット関数に対しても、同じグラフ構築法と方程式解法フレームワークを適用し、モジュラー算術による誤り耐性と確率的保証を実現する。

実験結果

リサーチクエスチョン

• RQ1 O(n) 時間でブルームャー・フィルタを構築しつつ、O(1) のクエリ時間と O(n) の空間使用量を維持できるか？
• RQ2 ランダムな有路グラフの使用が、関数符号化方程式の効率的かつ決定的な解法を可能にする仕組みは何か？
• RQ3 ブルームャー・フィルタ設計において、空間効率と構築時間のトレードオフはどのように現れるか？
• RQ4 バケット化を用いることで、空間最適化ブルームャー・フィルタの構築時間を O(n³) からほぼ線形時間に短縮できるか？
• RQ5 実世界のワークロード（例：URL のイン-degree グラフ）において、本手法は従来の O(n log n) 構築法と比べて実用的に優れているか？

主な発見

• 提案手法は O(n) の作成時間を達成しており、実世界の URL イン-degree データにおいて、従来の O(n log n) 法と比較して 3 ～ 5 倍速い。
• ブルームャー・フィルタのメモリ使用量は、11 億個の URL のイン-degree 情報を格納する場合に約 20 GB であり、従来手法と同等の空間使用量を維持している。
• 有路グラフ（本手法）を発見するための試行回数と、損失なしの拡張子（従来手法）を発見するための試行回数は同等であり、確率的効率が類似していることが示された。
• 2 回のメモリアクセスと 3 回のハッシュ評価で O(1) のクエリ時間が実現されており、従来手法（r+1 ≥ 3 回のメモリアクセスを要する）よりもわずかに高速である。
• バケット化を用いた空間最適化バージョンでは、作成時間を O(n³) から O(n log^{O(1)} n) に短縮でき、(1+δ)n(log(1/ε)+k) の空間使用量（任意の δ > 0 に対して）を達成し、実用的である。
• 動的更新の面では、f(x) の変更に O(log n) 時間を要するが、従来手法は O(1) であったため、この点でトレードオフが生じている。