[論文レビュー] RobustBF: A High Accuracy and Memory Efficient 2D Bloom Filter

Nayak, Sabuzima, Patgiri, Ripon|arXiv (Cornell University)|Jun 6, 2021

Caching and Content Delivery参考文献 16被引用数 4

ひとこと要約

この論文では、Mur一定数の最適化と素数次元の2次元ビット配列構造を用いることで、カウンティングブールフィルターよりも最大44倍、標準ブールフィルターよりも10倍の低いメモリ使用量で、ほぼゼロの誤検出確率を達成する新規2次元ブールフィルタ「robustBF」を提案する。

ABSTRACT

Bloom Filter is an important probabilistic data structure to reduce memory consumption for membership filters. It is applied in diverse domains such as Computer Networking, Network Security and Privacy, IoT, Edge Computing, Cloud Computing, Big Data, and Biometrics. But Bloom Filter has an issue of the false positive probability. To address this issue, we propose a novel robust Bloom Filter, robustBF for short. robustBF is a 2D Bloom Filter, capable of filtering millions of data with high accuracy without compromising the performance. Our proposed system is presented in two-fold. Firstly, we modify the murmur hash function, and test all modified hash functions for improvements and select the best-modified hash function experimentally. Secondly, we embed the modified hash functions in 2D Bloom Filter. Our experimental results show that robustBF is better than standard Bloom Filter and counting Bloom Filter in every aspect. robustBF exhibits nearly zero false positive probability with more than $10 imes$ and $44 imes$ lower memory consumption than standard Bloom filter and counting Bloom Filter, respectively.

研究の動機と目的

• 従来のブールフィルタで継続的に発生する高い誤検出確率の問題を是正しつつ、メモリ使用量を最小限に抑えること。
• 挿入・検索のパフォーマンスを低下させることなく、メンバーシップフィルタの精度とメモリ効率を向上させること。
• 誤検出確率の目標値0.001のもとで、誤検出をほぼゼロに抑える2次元ブールフィルタの変種を設計すること。
• 2次元フィルタ構造における均等な分布と低衝突率を実現するため、Murmurハッシュ関数を最適化すること。
• robustBFが標準的およびカウンティングブールフィルターよりも、メモリ消費量、速度、精度の面で優れていることを実証すること。

提案手法

• 著者らは、ビットの分布性と衝突の低減を目的として、実験的評価を通じてMurmurハッシュ関数を変更し、最良の性能を示すバージョンを選定した。
• 素数次元（X および Y）を用いた2次元ブールフィルタ構造を実装し、誤検出の低減とビットの均等な分布を実現した。
• 2次元配列は、X = P_{i+3} および Y = P_{i-3} として構築され、ここで P_i は事前に計算された素数のリストである。これにより、最適な配列次元が保証される。
• 理論的公式から導かれる最適ハッシュ関数数の半分を正確に使用し、インデックス計算にはXおよびYに対するモジュラス演算を適用した。
• メモリは符号なし長整数型の2次元配列として割り当てられ、1セルあたりβビットを確保し、合計メモリ量は X × Y × β ビットである。
• システムはハイブリッドアプローチを採用：入力マッピングには最適化されたハッシュ関数を、誤検出の低減には2次元配列構造を用い、挿入・検索の高速性を維持した。

実験結果

リサーチクエスチョン

• RQ1 最適化されたハッシュ関数を備えた2次元ブールフィルタは、メモリ使用量を著しく削減しつつ、ほぼゼロの誤検出確率を達成できるか？
• RQ2 ハッシュ関数の選択が、2次元ブールフィルタにおける誤検出率とパフォーマンスに与える影響はいかほどか？
• RQ3 素数次元を有する2次元ブールフィルタは、標準的およびカウンティングブールフィルターよりもメモリ効率と精度で優れるか？
• RQ4 挿入・検索速度に影響を与えることなく、メモリ消費量をどの程度まで削減できるか？
• RQ5 新規の2次元構造を用いることで、最小限のメモリオーバーヘッドで、メンバーシップフィルタリングにおいてほぼ100％の精度を達成できるか？

主な発見

• robustBFは、標準ブールフィルタ（SBF）と比較して平均10.40倍、カウンティングブールフィルタ（CBF）と比較して44.01倍の低メモリ使用量を実現した。
• すべてのテストデータセット（重複なしおよびランダムセットを含む）において、robustBFの誤検出確率はほぼゼロ（0）であったのに対し、CBFはこのような状況で高い誤検出（最大0.995）を示した。
• 1000万件のデータ挿入において、robustBFはSBFの2.038倍、CBFの2.48倍高速であった。
• 1000万件のデータに対して、robustBFは1.55MBのメモリしか使用しなかったのに対し、CBFは24MBを消費した。これは15.5倍のメモリ削減を意味する。
• 素数次元（X および Y）を有する2次元構造は、特に重複なしやランダムなデータパターンといった最悪ケースにおいて、誤検出を顕著に低減した。
• 誤検出確率の目標値0.001のもとで、robustBFはほぼ100％の精度を達成し、高精度と顕著な低メモリフットプリントを両立する最初のブールフィルタ変種である。