[논문 리뷰] Network Anomaly Detection: A Survey and Comparative Analysis of Stochastic and Deterministic Methods

Jing Wang, Daniel Rossell외 2명|arXiv (Cornell University)|2013. 09. 19.

Network Security and Intrusion Detection참고 문헌 27인용 수 8

한 줄 요약

이 논문은 유량 수준 이상과 DDoS 공격이 포함된 시뮬레이션된 네트워크 환경에서 다섯 가지 호스트 기반 네트워크 이면 검출 방법—두 가지 확률적(모델 무관 및 모델 기반 통계적 가설 검정), 두 가지 결정적(유량 및 윈도우 1-클래스 서포트 벡터 머신), 그리고 하나의 군집 기반(ART)—을 평가한다. 결과적으로 여러 방법의 결과를 융합하면 해상도와 안정성의 균형을 이루며 검출 성능을 향상시킨다.

ABSTRACT

We present five methods to the problem of network anomaly detection. These methods cover most of the common techniques in the anomaly detection field, including Statistical Hypothesis Tests (SHT), Support Vector Machines (SVM) and clustering analysis. We evaluate all methods in a simulated network that consists of nominal data, three flow-level anomalies and one packet-level attack. Through analyzing the results, we point out the advantages and disadvantages of each method and conclude that combining the results of the individual methods can yield improved anomaly detection results.

연구 동기 및 목표

• 실제와 유사한 시뮬레이션된 네트워크 환경에서 대표적인 확률적 및 결정적 이상 탐지 방법의 성능을 평가하고 비교하는 것.
• 라벨이 부여된 네트워크 이상 데이터의 부족 문제를 해결하기 위해, 유량 수준 및 패킷 수준의 공격 데이터셋을 생성하기 위한 맞춤형 시뮬레이션 도구를 개발하는 것.
• 대규모 파일 전송, 높은 액세스 레이트, DDoS 공격 등 다양한 이상 유형을 탐지하는 데 각 방법의 강점과 약점을 평가하는 것.
• 단일 방법보다 여러 탐지 방법의 결과를 융합할 경우 전체적인 탐지 성능이 향상되는지 조사하는 것.

제안 방법

• 정상 트래픽와 함께 유량 수준 이상(대규모 파일 다운로드, 높은 액세스 레이트, DDoS 공격 등)을 주입한 시뮬레이션된 네트워크 환경을 사용한다.
• 두 가지 확률적 방법을 적용한다: 대표적 이론(Large Deviations Theory, LDT)에 기반한 모델 무관 SHT와 마코프 가정을 사용한 모델 기반 SHT로, 트래픽를 확률 모델과 비교한다.
• 두 가지 결정적 방법을 적용한다: 개별 유량을 별도로 평가하는 유량 1-클래스 서포트 벡터 머신과, 시간 윈도우 내의 유량 시퀀스를 분석하는 윈도우 1-클래스 서포트 벡터 머신.
• 기계 학습 기반 방법인 ART 군집 기반 방법을 도입하여, 유량 특징을 기반으로 네트워크 트래픽을 군집으로 나누고, 이질적인 유량을 이상으로 식별한다.
• 라벨이 부여된 학습 및 테스트 데이터를 생성하기 위해, 유량 수준 이상을 위한 SADIT 및 패킷 수준 DDoS 공격을 위한 IMALSE라는 맞춤 소프트웨어 도구를 활용한다.
• 감지률, 오류 경고 비율, 시간 해상도 등의 메트릭을 사용하여 방법을 평가하며, 최적 성능을 위해 파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 대규모 파일 전송 및 액세스 레이트 증가와 같은 유량 수준 이상을 탐지할 때, 확률적 및 결정적 이상 탐지 방법은 어떻게 비교되는가?
• RQ2 시간적 이상(예: DDoS 공격)을 식별할 때, 윈도우 기반 탐지 방법과 유량 기반 탐지 방법의 성능는 어떠한가?
• RQ3 다양한 이상 유형에서 각 방법의 오류 경고 비율과 감지 해상도는 어떻게 달라지는가?
• RQ4 여러 탐지 방법의 출력을 융합할 경우, 개별 방법 대비 전체적인 탐지 정확도와 내성은 향상되는가?

주요 결과

• 모델 무관 및 모델 기반 SHT 방법은 경험적 측정치의 변화로 인해 시간적 이상(예: 액세스 레이트 증가)에 대해 잘 작동하지만, 모든 사용자 간에 동기화된 레이트 변화에는 어려움을 겪는다.
• 유량 1-클래스 서포트 벡터 머신과 ART 군집 기반 방법은 높은 해상도를 제공하여 개별 이상 유량을 탐지할 수 있지만, 높은 오류 경고 비율과 불안정성 문제를 야기한다.
• 윈도우 기반 1-클래스 서포트 벡터 머신과 윈도우 기반 SHT 방법은 집계로 인해 특정 이상 유량을 식별할 수 없지만, 더 안정적인 감지와 낮은 오류 경고 비율을 제공한다.
• DDoS 공격는 윈도우 기반 1-클래스 서포트 벡터 머신과 모델 무관 SHT에 의해 가장 잘 탐지되며, ART 군집 기반 방법은 악성 트래픽의 높은 볼륨으로 인해 군집 임계치를 초과하여 실패한다.
• 유량 1-클래스 서포트 벡터 머신은 각 유량을 별도로 평가하기 때문에 전송 빈도의 변화를 감지할 수 없어 레이트 기반 이상을 탐지하지 못한다.
• 여러 방법의 결과를 융합하면 감지 안정성과 유량 수준 해상도의 균형을 이루며 전체적인 성능이 향상된다.