[論文レビュー] Hierarchical Heavy Hitters with the Space Saving Algorithm

Michael Mitzenmacher, Thomas Steinke+1 more|arXiv (Cornell University)|Feb 27, 2011

Network Security and Intrusion Detection参考文献 13被引用数 10

ひとこと要約

本稿では、空間節約法をサブルーチンとして用いる、階層的重いヘッダー（HHHs）のための新規で簡素化されたストリーミングアルゴリズムを提案する。従来の手法に比べて優れた速度と正確性を達成しながらも、強力な理論的保証を維持している。この手法は1次元および2次元の階層を効率的に処理でき、1更新あたりのTCAM操作を削減し、実世界のネットワーク監視ワークロードにおいて、性能と実用性の両面で既存のアルゴリズムを上回っている。

ABSTRACT

The Hierarchical Heavy Hitters problem extends the notion of frequent items to data arranged in a hierarchy. This problem has applications to network traffic monitoring, anomaly detection, and DDoS detection. We present a new streaming approximation algorithm for computing Hierarchical Heavy Hitters that has several advantages over previous algorithms. It improves on the worst-case time and space bounds of earlier algorithms, is conceptually simple and substantially easier to implement, offers improved accuracy guarantees, is easily adopted to a distributed or parallel setting, and can be efficiently implemented in commodity hardware such as ternary content addressable memory (TCAMs). We present experimental results showing that for parameters of primary practical interest, our two-dimensional algorithm is superior to existing algorithms in terms of speed and accuracy, and competitive in terms of space, while our one-dimensional algorithm is also superior in terms of speed and accuracy for a more limited range of parameters.

研究の動機と目的

• 階層的重いヘッダー（HHHs）のための従来のストリーミングアルゴリズムに見られる、複雑さ、遅さ、強い理論的保証の欠如といった限界を解消すること。
• 実際のシステム（ルーターやTCAMなど）に容易に実装・導入できるように、高精度かつ低メモリ使用量を維持しつつも、シンプルな実装を可能にする手法を開発すること。
• より良い最悪計算時間・空間計算量の境界、向上した正確性、分散および並列実行のサポートを提供することで、既存のアルゴリズムを改善すること。
• 実際のパケットトレースを用いた実験を通じて、実用的優位性を示すこと。処理速度が速く、TCAM操作回数が少ないことを実証する。

提案手法

• アルゴリズムは、階層的データ構造におけるアイテムの近似頻度カウントを維持するために、空間節約法をコアサブルーチンとして用いる。
• 定められたラティス構造に基づき、親ノードに更新を伝搬させることで、空間節約法を階層的集約をサポートするように拡張する。
• 1次元のHHHsでは、階層の各レベルごとに空間節約法の1つのインスタンスを維持する。2次元のHHHsでは、送信元および受信先の次元にわたって複数のインスタンスを維持する。
• ノードが重いヘッダーとして報告されるのは、その子ノードの頻度の合計が閾値を超える場合に限るため、このアルゴリズムは正しさを保証する。これにより、子孫ノードによる誤検出（偽陽性）を防止できる。
• TCAMに優しい設計となっており、高レベルのノードにおける非一様な頻度分布を活用することで、1パケットあたりのTCAM操作回数を最小限に抑える。
• 実装はユニタリ（カウントのみ）および重み付き更新の両方をサポートしており、閾値パラメータφに依存しない性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 より単純なアルゴリズムでも、従来の複雑なHHHアルゴリズムに比べて、強い理論的誤差境界を維持した上で、より優れた性能を達成できるか？
• RQ2 実世界のネットワークトラフィックデータにおいて、提案アルゴリズムは従来の手法に比べて、処理速度、正確性、メモリ使用量の点でどのように差をつけるか？
• RQ3 空間節約法は、理論的保証が得られる多変数階層データに、どの程度まで拡張可能か？
• RQ4 アルゴリズムは、TCAMのような一般ハードウェアで効率的に実装可能か？また、従来の実装と比較して、TCAM操作回数はどの程度か？

主な発見

• ε = 0.1 の1次元設定において、提案された「ユニタリ」アルゴリズムは1秒あたり220万パケットを処理し、部分的（130万）および完全的（140万）アルゴリズムを上回った。
• ε = 0.1 の2次元設定において、「hhh」アルゴリズムは1秒あたり30万件の更新を処理し、部分的（7.1万）および完全的（10万）アルゴリズムの3倍以上速かった。
• 提案アルゴリズムの相対誤差は、すべての競合他手法よりも一貫して低く、部分的祖先アルゴリズムはしばしば理論的上限値1に達していた。
• TCAMシミュレーションでは、1次元では1パケットあたり平均14回の操作（空間節約法インスタンス1つあたり2.8回）、2次元では1パケットあたり平均65回の操作（1インスタンスあたり2.6回）を記録。これは、従来の実装が1更新あたり最大4回の操作を要していたのに対し、優れた性能を発揮した。
• アルゴリズムの実行時間およびメモリ使用量は、閾値φに依存しない。φは出力フェーズにのみ影響を及ぼし、実際の用途では無視できるほど小さい。
• アルゴリズムは強力な理論的保証を維持しており、そのシンプルさ、並列実行可能性、ハードウェア効率性のおかげで、従来の手法よりも実用的である。