[論文レビュー] Detailed Network Measurements Using Sparse Graph Counters: The Theory

Yi Lu, Andrea Montanari+1 more|ArXiv.org|Oct 2, 2007

Internet Traffic Analysis and Secure E-voting参考文献 9被引用数 11

ひとこと要約

本稿は、高帯域幅ネットワークにおけるフローメジャーメントのためのスパースグラフベースのカウンターアーキテクチャ「カウンターブレード」の理論的分析を提示する。最大尤度（ML）推定アルゴリズムを用いる場合、カウンターブレードはフローサイズ分布の情報理論的エントロピー下限に一致することで、メモリ効率が最適化され、スパースな更新と大規模システムにおける近似的に最適な圧縮率を実現する。これにより、高帯域幅ネットワークにおける正確で低メモリのフロー単位測定が可能になる。

ABSTRACT

Measuring network flow sizes is important for tasks like accounting/billing, network forensics and security. Per-flow accounting is considered hard because it requires that many counters be updated at a very high speed; however, the large fast memories needed for storing the counters are prohibitively expensive. Therefore, current approaches aim to obtain approximate flow counts; that is, to detect large elephant flows and then measure their sizes. Recently the authors and their collaborators have developed [1] a novel method for per-flow traffic measurement that is fast, highly memory efficient and accurate. At the core of this method is a novel counter architecture called "counter braids.'' In this paper, we analyze the performance of the counter braid architecture under a Maximum Likelihood (ML) flow size estimation algorithm and show that it is optimal; that is, the number of bits needed to store the size of a flow matches the entropy lower bound. While the ML algorithm is optimal, it is too complex to implement. In [1] we have developed an easy-to-implement and efficient message passing algorithm for estimating flow sizes.

研究の動機と目的

• フローサイズの確率的モデルに基づき、カウンターブレードのフローメジャーメントにおける理論的最適性を確立すること。
• カウンターブレードアーキテクチャが、大規模システムの極限においてフローサイズ分布のエントロピー下限に一致する圧縮レートを達成することを証明すること。
• 圧縮されたカウンターバリューからフローサイズを回復する際の最大尤度（ML）推定の性能を分析すること。
• スパースなカウンターブレードが、情報理論的最適性を維持しつつ、効率的で更新回数が制限されたメモリ操作を可能にすることを示すこと。
• 実際の応用で用いられるメッセージパッシングアルゴリズムの理論的基盤を構築し、フローサイズ推定においてその漸近的最適性を示すこと。

提案手法

• 本稿は、フローサイズを独立同一分布（i.i.d.）の確率変数としてモデル化し、情報理論的フレームワークを用いて圧縮効率を分析する。
• 各フローのサイズが有向無閉路グラフ（DAG）構造を用いて複数のレジスタに分散して符号化される、『カウンターブレード』と呼ばれるスパースグラフベースのカウンターアーキテクチャを導入する。
• フローサイズの $ q $ 進数表現を用いた階層的符号化方式を採用し、各レベル $ l $ が $ q $ 進数の1桁に対応する。また、これらの桁のエントロピーに関する確率的境界を用いる。
• 理論的分析には、低密度奇数チェック（LDPC）符号理論の道具が用いられ、i.i.d. ソースにおけるチャネル符号化とソース符号化の双対性を活用する。
• 集中不等式とタイプクラス解析を用いて、カウンターバリューを格納するために必要なビット数が、フローサイズ分布のエントロピーに漸近的に一致することを証明する。
• 各レジスタが少数の入力フローに接続されるスパースブレード（スパース構造）が、最適圧縮を達成し、効率的なメッセージパッシングデコードを可能にすることを確立する。

実験結果

リサーチクエスチョン

• RQ1 カウンターブレードは、確率的モデルのもとでネットワークフローサイズの圧縮において情報理論的最適性を達成できるか？
• RQ2 カウンターバリューからフローサイズを推定する最大尤度（ML）推定アルゴリズムは、メモリ使用量のエントロピー下限に一致するか？
• RQ3 カウンターブレードグラフのスパarsityが、メモリ効率と推定精度のトレードオフにどのように影響するか？
• RQ4 フローサイズ回復の漸近的誤り確率は何か？また、システムサイズに伴いどのように変化するか？
• RQ5 MLデコードがNP困難であるにもかかわらず、メッセージパッシングアルゴリズムは、フローサイズの推定において近似的に最適な性能を達成できるか？

主な発見

• カウンターブレードは、大規模システムの極限において、フローサイズ分布のエントロピーに一致する圧縮レートを達成し、情報理論的最適性を証明する。
• カウンターバリューからフローサイズを推定する最大尤度（ML）推定アルゴリズムは、最適であり、メモリ使用量のエントロピー下限に一致することが証明されている。
• 各レジスタが有限個のフローにのみ接続されるスパースカウンターブレードは、最適圧縮を達成し、高帯域幅ネットワークリンクにおける更新回数が制限された操作を可能にする。
• 任意の圧縮レートがフローサイズ分布のエントロピーを上回る限り、フローサイズ回復の誤り確率は大規模システムの極限で消える。
• 本稿は、適切な設計パrameterのもとで、誤り確率がシステムサイズとともに指数関数的に減少することを示し、メッセージパッシングアルゴリズムが近似的に最適な性能を達成できることを確立する。
• 理論的フレームワークにより、フローサイズが無限大であっても、カウンターブレードがエントロピー下限に一致するメモリ使用量で圧縮可能であることが示された。