[논문 리뷰] A New Approach to Dimensionality Reduction for Anomaly Detection in Data Traffic

Tingshan Huang, Harish Sethu외 1명|arXiv (Cornell University)|2016. 06. 14.

Network Security and Intrusion Detection참고 문헌 23인용 수 3

한 줄 요약

이 논문은 네트워크 이상 탐지에서 차원 감소를 위한 새로운 거리 기반 부분공간 방법을 제안하며, 관측된 정상 트래픽 공분산 행렬 간의 구조적 차이에 기반해 각 시간 윈도우당 차원 수를 동적으로 조정한다. 분산 기반의 주성분 분석(PCA)과 달리, 이 방법은 이상 탐지에 더 민감하고 정확하게 작동하도록 최대 부분공간 거리를 사용한다. 중심화 및 분산형 알고리즘 버전이 실제 트래픽 트레이스를 기반으로 검증되었다.

ABSTRACT

The monitoring and management of high-volume feature-rich traffic in large networks offers significant challenges in storage, transmission and computational costs. The predominant approach to reducing these costs is based on performing a linear mapping of the data to a low-dimensional subspace such that a certain large percentage of the variance in the data is preserved in the low-dimensional representation. This variance-based subspace approach to dimensionality reduction forces a fixed choice of the number of dimensions, is not responsive to real-time shifts in observed traffic patterns, and is vulnerable to normal traffic spoofing. Based on theoretical insights proved in this paper, we propose a new distance-based approach to dimensionality reduction motivated by the fact that the real-time structural differences between the covariance matrices of the observed and the normal traffic is more relevant to anomaly detection than the structure of the training data alone. Our approach, called the distance-based subspace method, allows a different number of reduced dimensions in different time windows and arrives at only the number of dimensions necessary for effective anomaly detection. We present centralized and distributed versions of our algorithm and, using simulation on real traffic traces, demonstrate the qualitative and quantitative advantages of the distance-based subspace approach.

연구 동기 및 목표

• 고정된 차원 수와 실시간 트래픽 변화에 대한 반응성이 떨어지는 분산 기반 PCA의 한계를 해결한다.
• 정상 트래픽 스푸핑에 취약한 기존 방법의 문제를 해결하기 위해 정상 트래픽과 관측된 트래픽 간의 공분산 행렬 차이에 초점을 맞춘다.
• 각 시간 윈도우당 필요한 만큼의 차원만 선택하는 동적이고 적응형 차원 감소 접근법을 개발한다.
• 대규모 네트워크 모니터링 시스템에서의 확장 가능한 구현을 지원하기 위해 중심화 및 분산형 알고리즘 버전을 설계한다.

제안 방법

• 정상 트래픽과 관측된 트래픽의 공분산 행렬 간의 구조적 차이를 정량화하기 위해 최대 부분공간 거리라는 새로운 지표를 제안한다.
• 고정된 k 값을 사용하는 PCA와 달리, 각 시간 윈도우당 동적으로 최적의 차원 수를 계산하는 거리 기반 부분공간 방법을 수립한다.
• 공분산 행렬의 차이에서 유도된 투영 행렬의 주요 특이값을 계산하기 위해 특이값 분해(SVD)와 거듭제곱 반복법을 사용한다.
• 중앙 집중식 알고리즘(getESD)을 구현하여 반복적인 SVD 기반 거듭제곱 방법을 사용해 최대 부분공간 거리를 계산한다.
• 평균 공약 및 국소적 거듭제곱 반복을 사용해 네트워크 노드 간에 확장 가능한 계산을 가능하게 하는 분산형 변형(getESD-D)을 설계한다.
• 이상 상태에서는 트래픽 특징 간 상관관계가 변화하므로, 공분산 행렬의 편차는 이상 탐지에 신뢰할 수 있는 신호가 된다는 사실을 활용한다.

실험 결과

연구 질문

• RQ1 고정된 k 값을 사용하는 분산 기반 PCA보다 동적이고 거리 기반의 차원 감소 접근법이 네트워크 이상 탐지에서 뛰어난 성능을 보일 수 있는가?
• RQ2 실시간 트래픽이 정상 행동에서 벗어나는 정도에 따라 각 시간 윈도우당 감소된 차원 수를 어떻게 적응적으로 선택할 수 있는가?
• RQ3 최대 부분공간 거리 지표는 기존의 PCA에 비해 이상 탐지 민감도를 얼마나 향상시키고, 거짓 경고율을 얼마나 낮출 수 있는가?
• RQ4 대규모 네트워크 모니터링 환경에서 거리 기반 방법의 분산 구현이 가지는 계산 및 통신적 타협 요소는 무엇인가?

주요 결과

• 제안된 거리 기반 부분공간 방법은 각 시간 윈도우당 차원 수를 동적으로 선택하여 사전 정의된 분산 임계값이 필요 없게 한다.
• 이 방법은 총 분산이 아닌 공분산 구조의 변화에 초점을 맞추므로, 미세하거나 스푸핑된 이상 탐지에 더 민감하며 성능이 향상된다.
• 실제 트래픽 트레이스를 이용한 시뮬레이션 결과, 이 방법은 분산 기반 PCA보다 더 높은 탐지 정확도와 낮은 거짓 경고율을 달성한다.
• 분산형 버전(getESD-D)은 효율적인 확장성을 유지하면서도 높은 정확도를 확보하며, 계산 복잡도는 O(kpMΔS), 통신 복잡도는 O(kMΔ + kpΔS)이다.
• 이론적 분석을 통해 투영 행렬의 주요 특이값이 차원이 증가함에 따라 단조적으로 증가함을 증명하여 거듭제곱 반복법의 수렴성과 안정성을 보장한다.
• 이 방법은 정상 트래픽 스푸핑에 강건한 편이다. 왜냐하면 이는 단지 분산 편차가 아니라 공분산 행렬의 구조적 이동을 탐지하기 때문이다.