[논문 리뷰] Network Traffic Anomaly Detection

Hongbin Huang, Hussein Al-Azzawi외 1명|arXiv (Cornell University)|2014. 02. 04.

Network Security and Intrusion Detection참고 문헌 26인용 수 23

한 줄 요약

이 논문은 비서명 기반 네트워크 트래픽 이상 탐지에 대한 종합적인 튜토리얼을 제시하며, 주로 PCA 기반, 스케치 기반, 신호 분석 기반 접근 방식에 중점을 둔다. 이상 탐지에 대한 통합 프레임워크와 이상 추출을 위한 연관 규칙 마이닝 기법을 도입하여 실제 백본 네트워크 데이터에서 잘못 알림의 수와 탐지 비용을 크게 감소시켰다.

ABSTRACT

This paper presents a tutorial for network anomaly detection, focusing on non-signature-based approaches. Network traffic anomalies are unusual and significant changes in the traffic of a network. Networks play an important role in today's social and economic infrastructures. The security of the network becomes crucial, and network traffic anomaly detection constitutes an important part of network security. In this paper, we present three major approaches to non-signature-based network detection: PCA-based, sketch-based, and signal-analysis-based. In addition, we introduce a framework that subsumes the three approaches and a scheme for network anomaly extraction. We believe network anomaly detection will become more important in the future because of the increasing importance of network security.

연구 동기 및 목표

• 비서명 기반 네트워크 이상 탐지에 대한 종합적인 튜토리얼가 부족한 문제를 해결하기 위해.
• PCA 기반, 스케치 기반, 신호 분석 기반 방법을 포함한 세 가지 주요 비서명 기반 접근 방식에 대한 체계적인 개요를 제공하기 위해.
• 세 가지 접근 방식을 통합하여 향상된 탐지 및 이상 추출을 위한 통합 프레임워크를 개발하기 위해.
• NetFlow 데이터에 대한 연관 규칙 마이닝을 활용하여 이상 탐지 시 잘못 알림과 탐지 비용을 감소시키기 위해.
• 전문가와 비전문가 모두가 고급 이상 탐지 기법을 이해하고 구현할 수 있도록 하기 위해.

제안 방법

• 정상 트래픽 행동을 모델링하고 특성 공간에서의 이탈을 경고함으로써 주성분 분석(PCA)을 사용하여 이상을 탐지한다.
• 네트워크 트래픽의 확률적 요약을 사용하여 저복잡도, 저저장소 비용의 이상 탐지가 가능한 스케치 데이터 구조를 활용한다.
• 웨이블릿, 칼만 필터, 시계열 통계와 같은 신호 처리 기법을 적용하여 시간적 트래픽 패턴에서 이상을 탐지한다.
• PCA, 스케치, 신호 분석 방법을 통합한 단일 이상 탐지 아키텍처로 작동하는 네트워크 애노모그라피 프레임워크를 제안한다.
• 반복적인 히스토그램 박스 제거 및 분산 기반 임계값(예: 클로이비츠-라이블러 분산)을 사용하여 이상 특성 값을 식별한다.
• 수정된 Apriori 알고리즘을 적용하여 NetFlow 레코드에서 빈번한 항목 집합을 추출한 후, 연관 규칙을 활용해 이상과 관련된 공존하는 플로우 특성을 식별한다.

실험 결과

연구 질문

• RQ1 다양한 신호 처리 전문 지식 수준을 가진 연구자들에게 비서명 기반 이상 탐지를 어떻게 체계적으로 가르칠 수 있는가?
• RQ2 PCA 기반, 스케치 기반, 신호 분석 기반 이상 탐지 방법의 상대적 강점과 한계는 무엇이며, 다양한 이상 유형을 다룰 수 있는가?
• RQ3 PCA, 스케치, 신호 분석 기법을 하나의 이상 탐지 시스템에 효과적으로 통합할 수 있는 통합 프레임워크가 가능한가?
• RQ4 연관 규칙 마이닝을 통해 네트워크 트래픽에서 이상 탐지의 잘못 알림 수를 줄이고 해석 가능성은 어떻게 향상시킬 수 있는가?
• RQ5 실제 백본 네트워크 트레이스에서 이상 추출 기법의 성능 영향은 탐지 비용과 잘못 알림 비율에 어떤 영향을 미치는가?

주요 결과

• 제안된 프레임워크는 PCA 기반, 스케치 기반, 신호 분석 기반 접근 방식을 통합하여 유기적인 네트워크 애노모그라피 시스템을 성공적으로 구성하였다.
• 연관 규칙 마이닝을 활용하여 15분간의 백본 네트워크 트레이스(350,872개 이상 경고)에서 탐지 비용과 잘못 알림 비율을 감소시켰다.
• HTTP 프록시 트래픽(DP=80), 백스캐터(랜덤 SP, 고정 DP=9022), DDoS 공격(DP=7000)과 같은 이상이 연관 규칙을 통해 성공적으로 식별되었다.
• 특성 값이 여러 개의 히스토그램 클론에서 모두 식별되어 높은 특이도를 달성하였으며, 잘못 알림 확률이 (1/m)^k 수준으로 감소하였다.
• 추정된 분산(ΔtD(p||q))의 3σ 기반 탐지 임계값이 다중 간격 이상의 시작과 끝에서 알람을 효과적으로 발동시켰다.
• 반복적인 박스 제거 과정을 통해 이상을 유발하는 히스토그램 박스와 관련된 플로우 특성을 성공적으로 고립시켜 이상 위치 특정 정확도를 향상시켰다.