[논문 리뷰] Network Traffic Decomposition for Anomaly Detection

Tahereh Babaie, Sanjay Chawla외 1명|arXiv (Cornell University)|2014. 03. 02.

Network Security and Intrusion Detection참고 문헌 3인용 수 8

한 줄 요약

이 논문은 흐름 시간 시리즈에서 구성된 헨켈 행렬의 스펙트럼 분해를 기반으로 한 다변량 단일 스펙트럼 분석(M-SSA)을 사용하여 네트워크 트래픽에 대한 통합 이상 탐지 프레임워크를 제안한다. 시간적(DoS) 및 공간적(포트 스캔) 상관관계를 모두 캡처함으로써, PCA나 웨이블릿 기반 접근 방식보다 더 효과적으로 다양한 이상을 탐지하며, 실제 및 합성 트래픽 데이터에서 뛰어난 탐지율을 달성하고 파rameter 민감도 분석이 철저하다.

ABSTRACT

In this paper we focus on the detection of network anomalies like Denial of Service (DoS) attacks and port scans in a unified manner. While there has been an extensive amount of research in network anomaly detection, current state of the art methods are only able to detect one class of anomalies at the cost of others. The key tool we will use is based on the spectral decomposition of a trajectory/hankel matrix which is able to detect deviations from both between and within correlation present in the observed network traffic data. Detailed experiments on synthetic and real network traces shows a significant improvement in detection capability over competing approaches. In the process we also address the issue of robustness of anomaly detection systems in a principled fashion.

연구 동기 및 목표

• 기존 이상 탐지 시스템이 한 번에 하나의 이상 유형(예: DoS 또는 포트 스캔)만 탐지할 수 있는 한계를 해결하기 위해.
• 동시에 Denial-of-Service(DoS) 및 포트 스캔 공격을 탐지할 수 있는 통합 프레임워크를 개발하기 위해.
• 시간적 및 공간적 상관관계의 변화를 모델링하고 탐지하기 위해 궤적/헤놀 매트릭스의 스펙트럼 분해를 활용하기 위해.
• 파rameter 설정을 철저히 분석하고 실제 네트워크 트레이스를 기반으로 검증함으로써 이상 탐지의 강건성을 향상시키기 위해.
• 향후 이상 탐지 방법의 벤치마크를 위한 목적으로 일본-미국 간 백본 링크에서 수집한 새로운 레이블이 부여된 데이터셋을 제공하기 위해.

제안 방법

• 다변량 네트워크 흐름 시간 시리즈에서 각 행이 흐름 데이터의 시간 지연 윈도우를 나타내는 헨켈 매트릭스를 구성한다.
• 관측된 정상 트래픽 행동의 기저 만성수를 나타내는 저랭크 성분을 추출하기 위해 헨켈 매트릭스에 특이값 분해(SVD)를 적용한다.
• 관측된 트래픽와 재구성된 트래픽 간 잔차(y(t) - ŷ(t))를 탐지 통계량으로 사용하며, 잔차가 임계값을 초과할 경우 이상으로 식별한다.
• 다양한 흐름을 동시에 모델링하고 시간적 또는 공간적 상관관계 위반을 탐지하기 위해 M-SSA로 방법을 확장한다.
• 가장자리 평균화(헤놀라이제이션)를 적용하여 매트릭스 분해 결과에서 시간 시리즈 성분을 재구성함으로써 해석 가능성과 검증을 확보한다.
• 실제 및 합성 네트워크 트레이스를 사용하여 M-SSA의 성능을 PCA, 웨이블릿, 푸리에 분석, 칼만 필터링, ASTUTE와 비교한다.

실험 결과

연구 질문

• RQ1 헤놀 매트릭스의 스펙트럼 분해는 통합 프레임워크 내에서 DoS 및 포트 스캔 이상을 탐지할 수 있는가?
• RQ2 M-SSA는 시간적 또는 공간적 상관관계에서 벗어나는 이상을 탐지할 때 PCA 및 웨이블릿 기반 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ3 윈도우 길이 및 랭크 선택이 이상 탐지 성능과 강건성에 어떤 영향을 미치는가?
• RQ4 지역적 이상으로 인한 상관관계 위반으로 인해 기존 SVD로는 탐지되지 않는 이상을 제안된 방법이 탐지할 수 있는가?
• RQ5 비정상적 행동을 보이는 실제 네트워크 트래픽 환경에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• M-SSA는 실제 및 합성 네트워크 트레이스에서 DoS 및 포트 스캔 이상을 탐지하는 데 있어 PCA, 웨이블릿, 푸리에 분석, 칼만 필터링, ASTUTE보다 뛰어난 성능을 보였다.
• 지역적 상관관계 위반으로 인해 기존 SVD로는 탐지되지 않는 포트 스캔 이상도 시간 지연 헨켈 매트릭스 구성 덕분에 효과적으로 탐지하였다.
• 시간적 상관관계를 위협하는 DoS 공격는 헨켈 매트릭스의 저랭크 근사 후 잔차 분석을 통해 효과적으로 탐지되었다.
• 헤놀 매트릭스의 사용 덕분에 흐름 내 및 흐름 간 상관관계 위반을 모두 탐지할 수 있었으며, 이는 통합 탐지 접근 방식을 가능하게 하였다.
• 강건성 분석 결과, M-SSA는 다양한 윈도우 길이 및 랭크 설정에서도 높은 탐지 성능를 유지하였으며, 정상 데이터에서 상관관계가 없는 잔차에 대해 최소한의 오진 탐지가 발생하였다.
• 일본-미국 간 백본 링크에서 수집한 새로운 레이블이 부여된 데이터셋의 도입은 향후 이상 탐지 연구를 위한 유의미한 벤치마크를 제공한다.