[論文レビュー] Analysis of a Bloom Filter Algorithm via the Supermarket Model

Yousra Chabchoub, Christine Fricker+1 more|ArXiv.org|Mar 12, 2009

Network Traffic and Congestion Control参考文献 6被引用数 4

ひとこと要約

本稿は、高速インターネットトラフィックにおけるリアルタイムな象のフロー検出のための適応的ブルームフィルタアルゴリズムを分析し、スーパー・マーケット・モデルにインspiredされたminルールを用いてカウンターの過大評価を低減する。フィルタサイズが増大する際、カウンターの経験的分布が、主要パラメータに依存する決定的極限に収束することを証明しており、最適なリフレッシュメント閾値設定により象の数の正確な推定が可能となる。

ABSTRACT

This paper deals with the problem of identifying elephants in the Internet Traffic. The aim is to analyze a new adaptive algorithm based on a Bloom Filter. This algorithm uses a so-called min-rule which can be described as in the supermarket model. This model consists of joining the shortest queue among d queues selected at random in a large number of m queues. In case of equality, one of the shortest queues is chosen at random. An analysis of a simplified model gives an insight of the error generated by the algorithm on the estimation of the number of the elephants. The main conclusion is that, as m gets large, there is a deterministic limit for the empirical distribution of the filter counters. Limit theorems are proved and the limit is identified. It depends on key parameters. The condition for the algorithm to perform well is discussed. Theoretical results are validated by experiments on a traffic trace from France Telecom and by simulations.

研究の動機と目的

• 確率的フィルタリングを用いた大容量インターネットフロー（象）のオンライン検出における正確性の向上を目的とする。
• d個のランダムに選ばれたカウンターのうち最小のもののみを増分するminルールが、推定誤差に与える影響を分析すること。
• 動的トラフィック状態下での大規模フィルタにおけるカウンター分布の理論的極限を確立すること。
• 実際のフランス通信（France Telecom）トラフィックトレースとシミュレーションを用いて、アルゴリズムの性能を検証すること。

提案手法

• d=2のハッシュ関数を備えたブルームフィルタを採用し、2つのうち最小のカウンターのみを増分するminルールを適用する。
• 非ゼロカウンターが閾値r（例：50%）を超えると発動する動的リフレッシュメントメカニズムを実装する。
• 各パケットがd個のランダムに選ばれたキューのうち最短のものに参加するスーパー・マーケット・キューイング・システムとして、カウンター更新プロセスをモデル化する。
• フィルタサイズm → ∞の極限において、カウンター値の定常分布を極限定理を用いて分析する。
• 理論的結果の妥当性を確認するため、シミュレーションと実際のトラフィックトレース（France Telecom）を用いる。
• 新アルゴリズムと元のバージョンを比較し、リフレッシュメント間隔と推定誤差に注目する。

実験結果

リサーチクエスチョン

• RQ1 ブルームフィルタにおけるminルールが、象のフロー数の推定精度にどのように影響を与えるか？
• RQ2 フィルタサイズが大きくなる際、カウンター値の極限分布はどのように変化するか？
• RQ3 リフレッシュメント閾値rが、アルゴリズムの定常的挙動と誤差率に与える影響は何か？
• RQ4 スーパー・マーケット・モデルの枠組みは、minルールが誤検出を低減するメカニズムを説明できるか？
• RQ5 定常状態において、リフレッシュメント間隔と閾値rの関係は何か？

主な発見

• フィルタサイズmが増大するにつれ、カウンター値の経験的分布は、パラメータrとCに依存する決定的極限に収束する。
• 定常状態におけるリフレッシュメント間隔τ∞mはrmに非常に近い値を示し、rm個のパケットが挿入された後にリフレッシュメントが発生するため、システムが安定することが示された。
• r ≈ 50%のとき、アルゴリズムは最も良好に機能し、誤検出を最小限に抑える。rを高め（例：90%）にすると、カウンター値が高くなるため、顕著な過大評価が生じる。
• シミュレーション結果から、定常分布¯w(i)は単調減少であり、多数のカウンターがC未満に集中していることが示された。また、¯w1の理論的近似は正確であり（例：r=0.5のとき¯w1 = 0.10、r=0.9のとき¯w1 = 0.05）、良好な一致を示した。
• スーパー・マーケット・モデルの枠組みは、minルールが過大評価を低減する理由を説明している：カウンターの増分が均等に分散され、同じカウンターが同時に増分されることを回避する。
• 元のバージョンでは誤差が負（象を見逃す）であったが、スーパー・マーケット版では誤差が正（誤検出）となり、パrameterチューニングによりより良好な制御が可能になった。