[論文レビュー] Optimal Elephant Flow Detection

Ran Ben Basat, Gil Einziger+2 more|arXiv (Cornell University)|Jan 15, 2017

Internet Traffic Analysis and Secure E-voting被引用数 9

ひとこと要約

本稿では、メモリ使用量、更新時間、クエリ時間の観点で、空間的に漸近的に最適なアルゴリズムである IM-SUM と DIM-SUM を提案する。2つのハッシュテーブルと浮動小数点型の蓄積変数を用いることで、それぞれの更新時間とクエリ時間に O(1) のアムortィズド時間と最悪計算時間の性能を達成し、O(1/ε) の空間量を確保する。実トラース上での評価では、従来手法を最大 2.5 倍高速に達成した。

ABSTRACT

Monitoring the traffic volumes of elephant flows, including the total byte count per flow, is a fundamental capability for online network measurements. We present an asymptotically optimal algorithm for solving this problem in terms of both space and time complexity. This improves on previous approaches, which can only count the number of packets in constant time. We evaluate our work on real packet traces, demonstrating an up to X2.5 speedup compared to the best alternative.

研究の動機と目的

• 合計バイト数に基づくリアルタイムの象のフロー監視のための効率的で最適なソリューションの不足に対処すること。
• 定数時間の更新とクエリをサポートするデータ構造を設計し、漸近的に最適な空間計算量を維持すること。
• パケットサイズが大きくなるとスケーリングが著しく悪化するか、非定数時間の操作を必要とする従来のアルゴリズムの限界を克服すること。
• リアルタイムネットワーク監視における使用を想定し、アムortィズド時間と最悪計算時間の両方で O(1) の性能保証を提供すること。
• 提案手法を実際のネットワークトラースおよび合成トラース上で評価し、既存手法を上回る性能を示すこと。

提案手法

• アルゴリズムは、アクティブなフローと非アクティブなフローのそれぞれに対して1つのハッシュテーブルを用い、合計バイト数を追跡する浮動小数点変数を併用する。
• IM-SUM は、反復的な中央値に基づくマージ戦略を用いてアクティブテーブルを維持し、O(1) のアムortィズド更新時間の達成を保証する。
• DIM-SUM は、2スレッド方式を用いて IM-SUM を非アムortィズド化し、O(1) の最悪計算時間の更新時間を保証するが、同期のオーバーヘッドを伴う。
• 中央値に基づく選択メカニズムを活用し、ソートや順序付き構造を用いずに、最も重要なフローを効率的に特定・維持する。
• 空間計算量は O(1/ε) であり、重み付き (1±ε)-近似周波数推定の情報理論的下界と一致する。
• 各バイトを単位更新として扱わない設計により、パケットサイズ S が大きい場合に O(S) の更新時間になるのを回避する。

実験結果

リサーチクエスチョン

• RQ1 重み付き周波数推定におけるネットワークフローの O(1) 更新時間とクエリ時間の両方をサポートするデータ構造を設計できるか？
• RQ2 O(1/ε) の漸近的最適空間計算量を維持しながら、定数時間の操作を達成できる象のフロー検出のための最適アルゴリズムを実現できるか？
• RQ3 トラフィックワークロードのスケーリングの変化に伴い、提案手法の性能はどのように変化するか？
• RQ4 リアルタイムネットワーク監視において、アムortィズド時間と最悪計算時間の性能保証の間にはどのようなトレードオフがあるか？
• RQ5 実ネットワークトラース上での実装において、Count Min Sketch、Space Saving、Count Sketch などの既存手法と比較して、提案手法は実際の性能でどのように差をつけるか？

主な発見

• IM-SUM は、実ネットワークトラース上での評価で、最も優れた競合手法を最大 2.5 倍高速に達成し、特にトラフィックパターンの高いスケーリングが顕著な環境でその効果を発揮した。
• DIM-SUM は O(1) の最悪計算時間の更新時間を保証するため、決定論的な性能保証を必要とするリアルタイムシステムに適している。
• ε の値が小さい（高精度）場合、IM-SUM と DIM-SUM はすべての代替手法を上回り、特に DIM-SUM は CMH や AGT よりも一貫して高速であった。
• IM-SUM と DIM-SUM の性能は、スケーリングが強い（例：Zipf分布）環境で顕著に向上し、保守処理の頻度が低下するためである。
• パramータ γ（保守頻度を制御する）を増加させることで、ある点までは性能が向上し、多数のワークロードにおいて γ=4 が最適であった。
• DIM-SUM の非アムortィズド化により同期のオーバーヘッドが生じ、IM-SUM よりも遅くなったが、ε が小さい場合には依然としてすべての競合手法より高速であった。