[論文レビュー] A New Approach to Dimensionality Reduction for Anomaly Detection in Data Traffic

Tingshan Huang, Harish Sethu+1 more|arXiv (Cornell University)|Jun 14, 2016

Network Security and Intrusion Detection参考文献 23被引用数 3

ひとこと要約

本稿では、ネットワーク異常検出における次元削減のための新規な距離ベースの部分空間手法を提案する。この手法は、観測済みのトラフィックと正常トラフィックの共分散行列間の構造的差異に基づき、時間窓ごとに次元数を動的に調整する。分散ベースのPCAとは異なり、異常をより迅速かつ正確に検出できるように、最大部分空間距離を用いる。中央集権的および分散型のアルゴリズムバージョンが、実際のトラフィックトレースを用いて検証された。

ABSTRACT

The monitoring and management of high-volume feature-rich traffic in large networks offers significant challenges in storage, transmission and computational costs. The predominant approach to reducing these costs is based on performing a linear mapping of the data to a low-dimensional subspace such that a certain large percentage of the variance in the data is preserved in the low-dimensional representation. This variance-based subspace approach to dimensionality reduction forces a fixed choice of the number of dimensions, is not responsive to real-time shifts in observed traffic patterns, and is vulnerable to normal traffic spoofing. Based on theoretical insights proved in this paper, we propose a new distance-based approach to dimensionality reduction motivated by the fact that the real-time structural differences between the covariance matrices of the observed and the normal traffic is more relevant to anomaly detection than the structure of the training data alone. Our approach, called the distance-based subspace method, allows a different number of reduced dimensions in different time windows and arrives at only the number of dimensions necessary for effective anomaly detection. We present centralized and distributed versions of our algorithm and, using simulation on real traffic traces, demonstrate the qualitative and quantitative advantages of the distance-based subspace approach.

研究の動機と目的

• 固定された次元数とリアルタイムのトラフィック変化への反応性の低さといった、分散ベースのPCAの異常検出における限界を解消すること。
• 正常トラフィックのスプーフィングに対する脆弱性を克服するため、正常と観測トラフィックの共分散行列の差に焦点を当てること。
• 時間窓ごとに必要な次元数のみを選択する、動的かつ適応的な次元削減アプローチを構築すること。
• 大規模なネットワーク監視システムにおけるスケーラブルな展開を支援するため、中央集権的および分散型の両バージョンのアルゴリズムを設計すること。

提案手法

• 正常トラフィックと観測トラフィックの共分散行列間の構造的差異を定量化するための新しい指標「最大部分空間距離」を提案する。
• PCAにおける固定されたkとは異なり、時間窓ごとに最適な次元数を動的に計算する距離ベースの部分空間手法を定式化する。
• 特異値分解（SVD）とパワー反復法を用いて、共分散行列の差異から導かれる射影行列の主特異値を計算する。
• 反復的SVDに基づくパワー法を用いて最大部分空間距離を計算する中央集権的アルゴリズム（getESD）を実装する。
• 平均協調と局所的パワー反復法を用いて、ネットワークノード間でスケーラブルに計算を実行できる分散型バージョン（getESD-D）を設計する。
• 異常はトラフィック特徴の相関関係を変化させるため、共分散行列の乖離は異常検出に信頼性の高いシグナルであることを活用する。

実験結果

リサーチクエスチョン

• RQ1 固定kの分散ベースPCAよりも、動的で距離ベースの次元削減アプローチがネットワーク異常検出において優れた性能を示せるか？
• RQ2 リアルタイムのトラフィックが正常行動からどれほど逸脱しているかに基づき、時間窓ごとに次元数を適応的に選択する方法は何か？
• RQ3 最大部分空間距離指標は、従来のPCAと比較して、異常検出の感度を向上させるとともに誤検出をどれほど低減できるか？
• RQ4 大規模なネットワーク監視において、距離ベース手法の分散型実装における計算と通信のトレードオフはどのようなものか？

主な発見

• 提案された距離ベースの部分空間手法は、時間窓ごとに次元数を動的に選択し、事前に定義された分散閾値の必要性を排除する。
• この手法は、合計分散ではなく共分散構造の変化に注目するため、微細な異常やスプーフィングされた異常に対しても感度が高く、異常検出性能が優れている。
• 実際のトラフィックトレースを用いたシミュレーション結果から、この手法は分散ベースのPCAよりも高い検出精度と低い誤検出率を達成している。
• 分散型バージョン（getESD-D）は、高い精度を維持しながら効率的にスケーリングでき、計算複雑度はO(kpMΔS)、通信複雑度はO(kMΔ + kpΔS)である。
• 理論的分析により、射影行列の主特異値が次元とともに単調に増加することを証明し、パワー反復法の収束性と安定性を保証する。
• この手法は、分散の乖離ではなく共分散行列の構造的シフトを検出するため、正常トラフィックのスプーフィングに対しても頑健である。