[論文レビュー] Distributed detection/localization of change-points in high-dimensional network traffic data

A. Lung-Yut-Fong, Céline Lévy‐Leduc+1 more|Sep 30, 2009

Time Series Analysis and Forecasting被引用数 7

ひとこと要約

本稿では、分散型の変化点検出手法DTopRankを提案する。この手法は、DDoS攻撃の検出と局所化を目的とした高次元ネットワークトラフィック向けのものである。局所監視装置で上位ランクのIPアドレスをフィルタリングし、中央集積装置で打ち切り時系列データに対するノンパラメトリック順位検定を適用することで、通信オーバーヘッドを著しく削減しながら、ほぼ中央集積型の検出性能を達成し、大規模ネットワークにおけるリアルタイム異常検出を可能にする。

ABSTRACT

We propose a novel approach for distributed statistical detection of change-points in high-volume network traffic. We consider more specifically the task of detecting and identifying the targets of Distributed Denial of Service (DDoS) attacks. The proposed algorithm, called DTopRank, performs distributed network anomaly detection by aggregating the partial information gathered in a set of network monitors. In order to address massive data while limiting the communication overhead within the network, the approach combines record filtering at the monitor level and a nonparametric rank test for doubly censored time series at the central decision site. The performance of the DTopRank algorithm is illustrated both on synthetic data as well as from a traffic trace provided by a major Internet service provider.

研究の動機と目的

• 計算的に不可能な中央集積処理が要求される高次元・高ボリュームのネットワークトラフィックにおいて、DDoS攻撃の検出と局所化の課題に対処すること。
• 局所監視装置から中央集積装置へ送信する情報の重要度を高め、データ処理を分散化することで、大規模ネットワークにおける通信オーバーヘッドを低減すること。
• 複数のネットワーク監視装置からの部分的情報を集約することにより、個々の監視装置では検出できない異常をリアルタイムで検出可能にする。
• 分散型かつリソース制限のある環境下でも、完全に中央集積型の検出性能に近い統計的性能を維持すること。
• 木構造のネットワーク監視アーキテクチャと互換性を持つ階層的検出フレームワークを提供し、監視装置および集積装置の両レベルで一貫した検定を実施すること。

提案手法

• 各局所監視装置で、通常のトラフィックパターンからの逸脱に基づいて、最も関連性の高いIPアドレスを特定するためのレコードフィルタリングを実施する。
• ローカルでTopRankアルゴリズムを用い、各IPアドレスの逸脱の統計的有意性に基づいてp値を計算し、順位付けを行う。
• 各監視装置から、p値の順位で上位M個のIPアドレスのみを中央集積装置へ送信することで、データ送信量を桁違いに削減する。
• 集積装置では、集約された上位ランクのIPトラフィックデータから形成される二重に打ち切られた時系列データに対して、ノンパラメトリック順位検定を実行する。
• 変化点がないという帰無仮説の下での順位検定統計量の漸近的分布を用い、推論にはブラウン運動ブリッジ近似を適用する。
• 木構造のネットワークに適した階層的監視を可能にするために、複数の集約レベルで同じ検出メカニズムを適用可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 分散型アプローチは、高次元ネットワークトラフィックにおいて、完全に中央集積型の変化点検出と同等の検出性能を達成できるか？
• RQ2 数千のIPアドレスにわたる微妙なDDoS攻撃の検出能力を維持しつつ、通信オーバーヘッドを最小限に抑えるにはどうすればよいか？
• RQ3 集約・フィルタリングされたネットワーク監視データから得られる二重に打ち切られた時系列データに対して、ノンパラメトリック順位検定が有効に機能するか？
• RQ4 個々のIPストリームの信号対雑音比が低い場合に、ローカルでは特定できない攻撃も、複数の監視装置からの情報集約によって検出可能か？
• RQ5 異なる粒度レベルを有する階層的ネットワーク監視アーキテクチャへ、この検出メカニズムを拡張可能か？

主な発見

• DTopRankアルゴリズムは、各監視装置から上位M個のIPアドレスのみを送信しても、完全に中央集積型の検出器と同等に近い検出性能を達成している。
• 個々の監視装置では信号強度が低いため検出できないDDoS攻撃も、複数の監視装置からの情報を集約することで、本手法は効果的に検出可能である。
• 通信オーバーヘッドが著しく削減されている—送信されるのは統計的に有意なIPアドレスのみ—これにより、大規模ネットワークにおけるリアルタイム導入が可能である。
• 二重に打ち切られたデータに対するノンパラメトリック順位検定は、分布の仮定に頑健であり、帰無仮説下でも適切な第一種の誤り率制御を維持する。
• 検定統計量の漸近的分布は、ややきつい正則性条件のもとでブラウン運動ブリッジに収束し、大標本における信頼性の高い推論を可能にする。
• 階層的拡張は実現可能であり、監視装置および集積装置の両レベルで同じ検出メカニズムが一貫して動作するため、複数の粒度での異常検出が可能である。