[論文レビュー] A Model for Learned Bloom Filters, and Optimizing by Sandwiching

Michael Mitzenmacher|arXiv (Cornell University)|Jan 3, 2019

Caching and Content Delivery参考文献 10被引用数 63

ひとこと要約

この論文は学習済み Bloom フィルタを正式化し、保証と偽陽性を分析し、サンドイッチング最適化を導入し、学習済み Bloomier フィルタへ拡張する。

ABSTRACT

Recent work has suggested enhancing Bloom filters by using a pre-filter, based on applying machine learning to determine a function that models the data set the Bloom filter is meant to represent. Here we model such learned Bloom filters,, with the following outcomes: (1) we clarify what guarantees can and cannot be associated with such a structure; (2) we show how to estimate what size the learning function must obtain in order to obtain improved performance; (3) we provide a simple method, sandwiching, for optimizing learned Bloom filters; and (4) we propose a design and analysis approach for a learned Bloomier filter, based on our modeling approach.

研究の動機と目的

• 学習済み Bloom フィルタを標準 Bloom フィルタと比較した場合の保証と制限を明確にする。
• 性能向上を見込むための学習関数のサイズを公式に推定する formal modelを開発する。
• 学習関数の周りに初期の Bloom フィルタとバックアップ Bloom フィルタを配置するサンドイッチング最適化を提案・分析する。
• 学習済み Bloomier フィルタおよび関連構造へモデリング手法を拡張する。

提案手法

• 学習済み Bloom フィルタを three-part 構造 f（学習関数）としきい値 τ、バックアップ Bloom フィルタ B で構成されるモデルとして扱う。
• クエリ分布に対して学習済み Bloom フィルタの偽陽性率を導出する。
• サンドイッチング（f の前に事前フィルタ Bloom、f の後にバックアップフィルタを置く）が偽陽性を低減できることを示し、最適なビット配分を分析する。
• 予算制約を考慮した状態で、学習済み Bloom フィルタを標準 Bloom フィルタと比較するための公式を提供する。
• データセットが変化した場合の挿入・削除・再学習を含む実務的考慮と頑健性について議論する。

実験結果

リサーチクエスチョン

• RQ1 学習済み Bloom フィルタと標準 Bloom フィルタの間でどのような保証が成り立つのか。
• RQ2 与えられた予算下で性能向上を達成するために学習関数のサイズをどのように選ぶべきか。
• RQ3 サンドイッチングは偽陽性率を改善するか、2つの Bloom フィルタ間でビットをどのように割り当てるべきか。
• RQ4 解析を学習済み Bloomier フィルタおよび関連データ構造へどのように拡張できるか。
• RQ5 クエリストリームの分布変化に対して学習済み Bloom フィルタは頑健か。

主な発見

• 形式的モデルは、学習済み Bloom フィルタがクエリ分布に依存した偽陽性を持ち、適切なデータ分布の下で標準 Bloom フィルタを上回ることがあることを示す。
• バックアップフィルタサイズが与えられた学習済み Bloom フィルタに対して、明示的な偽陽性率関数 Fp+(1−Fp)α^{b/Fn} を導出。
• サンドイッチング（学習関数の前に初期 Bloom、後にバックアップ Bloom）により偽陽性を低減でき、あるレジームでは全体予算に依存せず最適なバックアップサイズを一定に保つ。
• サンドイッチ構成の最適な予算はバックアップフィルタに一定量のビットを割り当て、残りを初期フィルタに割り当てることで性能が向上する。
• この枠組みは学習済み Bloomier フィルタへも一般化され、同様の解析と最適化が可能である。