[論文レビュー] Network Traffic Anomaly Detection

Hongbin Huang, Hussein Al-Azzawi+1 more|arXiv (Cornell University)|Feb 4, 2014

Network Security and Intrusion Detection参考文献 26被引用数 23

ひとこと要約

本論文は、主成分分析（PCA）ベース、スケッチベース、信号解析ベースのアプローチに焦点を当てた、署名に依存しないネットワークトラフィック異常検出に関する包括的なチュートリアルを提示する。異常検出のための統一フレームワークと、関連ルールマイニングを用いた異常抽出スキームを導入し、実際のバックボーンネットワークデータにおいて誤検出を著しく低減するとともに、検出コストを削減した。

ABSTRACT

This paper presents a tutorial for network anomaly detection, focusing on non-signature-based approaches. Network traffic anomalies are unusual and significant changes in the traffic of a network. Networks play an important role in today's social and economic infrastructures. The security of the network becomes crucial, and network traffic anomaly detection constitutes an important part of network security. In this paper, we present three major approaches to non-signature-based network detection: PCA-based, sketch-based, and signal-analysis-based. In addition, we introduce a framework that subsumes the three approaches and a scheme for network anomaly extraction. We believe network anomaly detection will become more important in the future because of the increasing importance of network security.

研究の動機と目的

• 署名に依存しないネットワーク異常検出に関する包括的なチュートリアルの不足に対処すること。
• 主成分分析（PCA）ベース、スケッチベース、信号解析ベースの3つの主要な署名に依存しないアプローチについて、体系的な概要を提供すること。
• 3つのアプローチを統合する統一フレームワークを構築し、検出性能と異常抽出の向上を図ること。
• NetFlowデータに対する関連ルールマイニングを活用して、異常特定における誤検出と検出コストを低減すること。
• 非専門家および専門家が、先進的な異常検出技術を理解し、実装できるようにすること。

提案手法

• 正規のトラフィック行動をモデル化し、特徴空間における逸脱を特定することで、主成分分析（PCA）を用いて異常を検出する。
• ネットワークトラフィックの確率的要約を用いることで、低計算量・低記憶領域の異常検出を実現するため、スケッチデータ構造を採用する。
• ウェーブレット、カルマンフィルタ、時系列統計などの信号処理技術を適用し、時間的トラフィックパターンにおける異常を検出する。
• PCA、スケッチ、信号解析手法を統合した統一検出アーキテクチャを実現する、ネットワークアナモグラフィーのフレームワークを導入する。
• 繰り返しヒストグラムのビン削除と、発散に基づくしきい値（例：カルバック・ライブラー発散）を用いて、異常な特徴値を特定する。
• 変更版Aprioriアルゴリズムを適用し、NetFlowレコードから頻出アイテムセットを抽出した後、関連ルールを用いて異常に関連する共起するフローフィーチャーを同定する。

実験結果

リサーチクエスチョン

• RQ1 信号処理の専門知識の程度が異なる研究者に対して、署名に依存しない異常検出を体系的に教える方法は何か？
• RQ2 PCAベース、スケッチベース、信号解析ベースの異常検出手法は、多様な異常タイプを処理するにあたり、それぞれどのような相対的強みと限界を有するか？
• RQ3 PCA、スケッチ、信号解析手法を統合する統一フレームワークは、1つの異常検出システムとして効果的に機能できるか？
• RQ4 関連ルールマイニングは、ネットワークトラフィックにおける誤検出を低減し、検出された異常の解釈可能性を向上させることができるか？
• RQ5 実際のバックボーンネットワークトレースにおいて、異常抽出技術の導入が検出コストと誤検出率に与える影響は何か？

主な発見

• 提案されたフレームワークは、PCAベース、スケッチベース、信号解析ベースのアプローチを統合し、包括的なネットワークアナモグラフィー・システムを実現した。
• 関連ルールマイニングを用いることで、15分間のバックボーンネットワークトレース（350,872件の異常フラグ付き）において、検出コストと誤検出率が著しく低減された。
• HTTPプロキシトラフィック（DP=80）、バックスキャッター（ランダムSP、固定DP=9022）、DDoS攻撃（DP=7000）などの異常は、関連ルールを用いて正常に同定された。
• 複数のヒストグラムクローンで特徴値が一貫して特定されることを要件とすることで、高い特異度を達成し、誤検出確率を (1/m)^k まで低減した。
• 推定発散ΔtD(p||q)の3σしきい値に基づく検出しきい値が、複数区間にわたる異常の開始および終了時に効果的にアラームを発動した。
• 繰り返しビン削除プロセスにより、悪性のヒストグラムビンと関連するフローフィーチャーが正常に分離され、異常の局所化精度が向上した。