[論文レビュー] Retouched Bloom Filters: Allowing Networked Applications to Flexibly Trade Off False Positives Against False Negatives

Benoît Donnet, Bruno Baynat+1 more|ArXiv.org|Jul 9, 2006

Caching and Content Delivery参考文献 13被引用数 4

ひとこと要約

この論文では、特定の1ビットを0に反転させることで、ネットワークアプリケーションが誤検出を選択的に削除できるリトゥーチドブールムフィルタ（RBF）を紹介している。これにより、誤検出の増加を制御しつつ、誤検出の多い要因を削減できる。RBFは、元のブールムフィルタと同等の全体の誤り率を維持しながら、帯域幅やフィルタサイズを増加させることなく、最も深刻な誤検出を削減できる。

ABSTRACT

Where distributed agents must share voluminous set membership information, Bloom filters provide a compact, though lossy, way for them to do so. Numerous recent networking papers have examined the trade-offs between the bandwidth consumed by the transmission of Bloom filters, and the error rate, which takes the form of false positives, and which rises the more the filters are compressed. In this paper, we introduce the retouched Bloom filter (RBF), an extension that makes the Bloom filter more flexible by permitting the removal of selected false positives at the expense of generating random false negatives. We analytically show that RBFs created through a random process maintain an overall error rate, expressed as a combination of the false positive rate and the false negative rate, that is equal to the false positive rate of the corresponding Bloom filters. We further provide some simple heuristics and improved algorithms that decrease the false positive rate more than than the corresponding increase in the false negative rate, when creating RBFs. Finally, we demonstrate the advantages of an RBF over a Bloom filter in a distributed network topology measurement application, where information about large stop sets must be shared among route tracing monitors.

研究の動機と目的

• 標準のブールムフィルタでは、影響の大きな誤検出を意図的に削除できないという制限を解消すること。
• ネットワークアプリケーションが、特定の誤検出を許容しつつ、誤検出の増加を制御できるようにすること。
• 元のブールムフィルタと同等の全体の誤り率（誤検出率と誤検出率の重み付き和）を維持すること。
• RBFの構築において、誤検出の削減が誤検出の増加を上回る実用的なヒューリスティクスおよびアルゴリズムを提供すること。
• RBFが、分散トポロジ発見などの実世界のネットワーク測定応用において有効であることを示すこと。

提案手法

• 所定の誤検出率を設定し、標準的手法を用いて標準的なブールムフィルタを構築する。
• フィルタ構築後、特に頻度が高く影響が大きい誤検出を特定・対象化する。
• 特定の1ビットを0に反転させるリトゥーチング処理を適用し、それらの要素が誤検出を引き起こす可能性を低下させる。
• 誤検出率と誤検出率の重み付き組み合わせとして定義される全体の誤り率を、ランダムなビット反転プロセスによって解析的に維持する。
• 最も深刻な誤検出に関連するビットを優先して反転させるヒューリスティクスアルゴリズムを設計し、1つの誤検出の増加に対して最大限の誤検出削減を実現する。
• すべてのRBF構築のオーバーヘッドを送信側に限定し、通信帯域幅やフィルタサイズの増加を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 誤検出率を、全体の誤り率を増加させずに、特定の影響の大きな要素に対して低下させることは可能か？
• RQ2 ブールムフィルタのビットを意図的に変更する場合、誤検出の削減と誤検出の増加の理論的トレードオフはどのようなものか？
• RQ3 実世界の応用において、誤検出の削減が誤検出の増加を上回るような実用的なヒューリスティクスを設計できるか？
• RQ4 ランダムなリトゥーチングにおいて、RBFは元のブールムフィルタと同等の全体の誤り率を維持するか？
• RQ5 どのようなネットワークアプリケーションで、RBFは標準のブールムフィルタよりも測定可能な性能向上をもたらすか？

主な発見

• ランダムにビットを反転させても、誤検出が減少し誤検出が増加する中で、リトゥーチドブールムフィルタ（RBF）は元のブールムフィルタと同等の全体の誤り率を維持する。
• RBF構築のためのヒューリスティクスアルゴリズムは、誤検出率の低下が誤検出率の上昇を上回るため、実用的には有利なトレードオフを実現する。
• RBFは、帯域幅やフィルタサイズを増加させることなく、頻繁に観測されるIPアドレスに関連する最も深刻な誤検出を削除できる。
• RBFは、トレイサウティングモニタを用いた分散トポロジ発見などのネットワーク測定応用において特に効果的であり、高頻度のアドレスでの誤検出が性能を低下させるためである。
• RBFは、フィルタサイズや全体の誤り率を維持しつつ、誤検出を意図的に抑制できる点で、既存のブールムフィルタの変種を上回る。
• 誤検出率が低めに許容できるアプリケーションでは、RBFを用いることで誤りの影響を全体的に低減でき、特に誤検出が一様でない場合に顕著である。