[논문 리뷰] Distributed detection/localization of change-points in high-dimensional network traffic data

A. Lung-Yut-Fong, Céline Lévy‐Leduc외 1명|2009. 09. 30.

Time Series Analysis and Forecasting인용 수 7

한 줄 요약

이 논문은 고차원 네트워크 트래픽에서 DDoS 공격을 탐지하고 국지화하기 위한 분산 변화점 탐지 방법인 DTopRank을 제안한다. 현지 모니터에서 상위 랭크된 IP 주소를 필터링하고, 중앙 집중형 수집기에서 시간이 제한된 시계열 자료에 비모수적 순위 검정을 적용함으로써, DTopRank는 통신 오버헤드를 크게 줄이며 거의 중심집중형 탐지 성능을 달성하여 대규모 네트워크에서 실시간 이상 탐지가 가능하다.

ABSTRACT

We propose a novel approach for distributed statistical detection of change-points in high-volume network traffic. We consider more specifically the task of detecting and identifying the targets of Distributed Denial of Service (DDoS) attacks. The proposed algorithm, called DTopRank, performs distributed network anomaly detection by aggregating the partial information gathered in a set of network monitors. In order to address massive data while limiting the communication overhead within the network, the approach combines record filtering at the monitor level and a nonparametric rank test for doubly censored time series at the central decision site. The performance of the DTopRank algorithm is illustrated both on synthetic data as well as from a traffic trace provided by a major Internet service provider.

연구 동기 및 목표

• 중앙 집중 처리가 계산적으로 불가능한 고차원, 고용량 네트워크 트래픽에서 DDoS 공격을 탐지하고 국지화하는 데 도전하는 문제를 해결한다.
• 현지 모니터에서 데이터 처리를 분산하고, 중앙 수집기로 전송하는 데 가장 관련성이 높은 정보만 전송함으로써 대규모 네트워크에서의 통신 오버헤드를 줄인다.
• 여러 네트워크 모니터에서 부분 정보를 집계함으로써, 개별적으로는 탐지되지 않는 이상 현상도 실시간으로 탐지할 수 있도록 한다.
• 분산된 자원 제약 조건 하에서도 완전히 중심집중형 탐지 성능에 가까운 통계적 성능을 유지한다.
• 트리 구조의 네트워크 모니터링과 호환되는 계층적 탐지 프레임워크를 제공하여, 모니터 및 수집기 수준에서 일관된 검정을 수행한다.

제안 방법

• 각 현지 모니터에서 정상 트래픽 패턴에서의 이탈 정도에 따라 가장 관련성이 높은 IP 주소를 식별하기 위해 레코드 필터링을 적용한다.
• 로컬에서 TopRank 알고리즘을 사용하여 각 IP 주소의 p-값을 계산하고, 이격 정도의 통계적 유의성에 따라 순위를 매긴다.
• 각 모니터에서 p-값 기준 상위 M개의 IP 주소만 중앙 수집기로 전송하여 데이터 전송을 수십만 배 이상 줄인다.
• 수집기에서 집계된 상위 랭크된 IP 트래픽 데이터로부터 형성된 双중으로 제한된 시계열 자료에 대해 비모수적 순위 검정을 수행한다.
• 변화점이 없는 귀무가설 하에서 순위 검정 통계량의 渐近적 분포를 활용하고, 추론에 대해 브라운 운동 다리 근사법을 적용한다.
• 트리 구조의 네트워크에서 계층적 모니터링을 지원하기 위해, 동일한 탐지 메커니즘이 여러 집계 수준에서 적용될 수 있도록 보장한다.

실험 결과

연구 질문

• RQ1 분산적 접근이 고차원 네트워크 트래픽에서 완전히 중심집중형 변화점 탐지 성능과 비교할 만한 성능을 달성할 수 있는가?
• RQ2 수천 개의 IP 주소에 걸쳐 미세한 DDoS 공격을 탐지할 능력을 유지하면서 통신 오버헤드를 어떻게 최소화할 수 있는가?
• RQ3 비모수적 순위 검정이 집계되고 필터링된 네트워크 모니터 데이터에서 유도된 이중으로 제한된 시계열 자료를 효과적으로 다룰 수 있는가?
• RQ4 개별 IP 스트림에서 신호 대 잡음 비율이 낮아서 국지적으로 식별되지 않는 공격도, 여러 모니터에서의 정보 집계를 통해 탐지할 수 있는가?
• RQ5 다양한 정도의 세밀함을 가진 계층적 네트워크 모니터링 아키텍처에 탐지 메커니즘이 확장 가능한가?

주요 결과

• DTopRank 알고리즘은 각 모니터에서 상위 M개의 IP 주소만 전송되어도, 완전히 중심집중형 탐지기와 비슷한 탐지 성능을 달성한다.
• 개별 IP 스트림에서 신호 강도가 낮아 국지적으로 탐지되지 않는 DDoS 공격도, 여러 모니터에서의 정보 집계를 통해 성공적으로 탐지한다.
• 통신 오버헤드가 극적으로 감소하여, 가장 통계적으로 유의미한 IP 주소들만 전송되므로 대규모 네트워크에서 실시간 배포가 가능해진다.
• 이중으로 제한된 자료에 대한 비모수적 순위 검정은 분포 가정에 대한 민감도를 낮추고, 귀무가설 하에서 타입 I 오류 제어를 유지한다.
• 검정 통계량의 渐近적 분포는 온건한 정규성 조건 하에서 브라운 운동 다리로 수렴하여, 큰 표본에서 신뢰할 수 있는 추론을 가능하게 한다.
• 계층적 확장은 가능하며, 동일한 탐지 메커니즘이 모니터 및 수집기 수준에서 일관되게 작동하여 다중 세분화 수준의 이상 탐지가 가능하다.