[論文レビュー] A survey of sketches in traffic measurement: Design, Optimization, Application and Implementation

Shangsen Li, Lailong Luo+3 more|arXiv (Cornell University)|Dec 14, 2020

Network Security and Intrusion Detection参考文献 226被引用数 10

ひとこと要約

本論文は、データ処理パイプライン全体にわたるスケッチベースのネットワーク測定に関する、初めての包括的サーベイを提示している。設計、最適化、応用、実装をカバーし、90種類以上のスケッチ変種を分析し、定量的および定性的に比較し、SDN、5G、IPv6デュアルスタック環境を含む現代ネットワークにおける未解決の研究課題を特定している。

ABSTRACT

Network measurement probes the underlying network to support upper-level decisions such as network management, network update, network maintenance, network defense and beyond. Due to the massive, speedy, unpredictable features of network flows, sketches are widely implemented in measurement nodes to approximately record the frequency or estimate the cardinality of flows. At their cores, sketches usually maintain one or multiple counter array(s), and rely on hash functions to select the counter(s) for each flow. Then the space-efficient sketches from the distributed measurement nodes are aggregated to provide statistics of the undergoing flows. Currently, tremendous redesigns and optimizations have been proposed to improve the sketches for better network measurement performance. However, existing reviews or surveys mainly focus on one particular aspect of measurement tasks. Researchers and engineers in the network measurement community desire an all-in-one survey that covers the entire processing pipeline of sketch-based network measurement. To this end, we present the first comprehensive survey of this area. We first introduce the preparation of flows for measurement, then detail the most recent investigations of design, aggregation, decoding, application and implementation of sketches for network measurement. To summarize the existing efforts, we carry out an in-depth study of the existing literature, covering more than 90 sketch designs and optimization strategies. Furthermore, we conduct a comprehensive analysis and qualitative/quantitative comparison of the sketch designs. Finally,we highlight the open issues for future sketch-based network measurement research.

研究の動機と目的

• スケッチベースのネットワーク測定の全パイプラインをカバーする統一的かつ最新のサーベイの不足に対処すること。
• 近年提案された90種類以上のスケッチ設計および最適化戦略を体系的にレビューすること。
• さまざまな測定タスクにおいて、時間的・容量的次元にわたるスケッチベース手法の包括的比較を提供すること。
• 次世代ネットワーク（SDN、5G、IPv4/IPv6デュアルスタック環境など）におけるスケッチベース測定の未解決問題と今後の研究方向性を特定すること。
• 理論的スケッチ設計とハードウェア、ソフトウェア、SDN環境における実際の展開との間のギャップを埋めること。

提案手法

• スケッチベースのネットワーク測定を、測定のための準備、スケッチデータ構造の設計および最適化、情報抽出のための後処理という3次元パイプラインに分類する。
• ハッシュ戦略、カウンターレベル最適化、スケッチレベルの改善に基づいてスケッチ変種をレビューおよび分類する。
• 後処理フェーズにおけるスケッチ圧縮、マージ、データ補完、クエリ技術を分析する。
• フローワンカウント、サイズ、ボリューム、異常検出を含む13の測定タスクにおいて、スケッチ手法の定性的および定量的比較を実施する。
• ハードウェアおよびソフトウェア実装の評価を含み、プログラマブルスイッチおよびSDN環境を対象とする。
• ハッシュ関数の学習および推定精度の向上に寄与する機械学習統合の新たな可能性を検討する。

実験結果

リサーチクエスチョン

• RQ1 現代のネットワーク測定におけるスケッチデータ構造の主な設計および最適化戦略は何ですか？
• RQ2 さまざまな測定タスクにおいて、異なるスケッチ変種は、精度、時間、メモリ使用量の観点でどのように比較されますか？
• RQ3 SDN、5G、およびデュアルスタックIPv4/IPv6ネットワークにおけるスケッチの展開における主な課題と機会は何ですか？
• RQ4 機械学習は、ハッシュ衝突の低減および推定精度の向上に寄与する点で、スケッチベース測定をどのように強化できますか？
• RQ5 次世代通信システムにおけるスケッチベースネットワーク測定の未解決の研究課題と今後の研究方向性は何ですか？

主な発見

• 本サーベイは90種類以上のスケッチ変種と13の測定タスクをカバーしており、従来のサーベイが20種類未満の変種と限定されたタスクに焦点を当てていたのに対し、大幅に拡張されている。
• スケッチベース測定は、特に大規模かつ予測不能なトラフィックが発生する環境において、高速かつメモリ効率の良いネットワーク監視に不可欠な技術のままである。
• カウンターレベルおよびスケッチレベルの最適化は、精度の向上とメモリ使用量の削減に顕著な効果をもたらし、一部の設計ではメモリと誤差率の近似的最適なトレードオフを達成している。
• スケッチのマージや圧縮といった後処理技術は、複数のネットワークノードにまたがるスケーラブルな分散測定において不可欠である。
• SDNおよびプログラマブルスイッチとの統合により、細かく制御可能で低オーバーヘッドの測定が可能になるが、転送処理と測定機能の間でのリソース共有に注意が必要である。
• 機械学習は、従来のハッシュ関数に代わって衝突を低減し、推定精度を向上させる可能性を示しており、特に異常検出や周波数推定タスクにおいて顕著である。