[논문 리뷰] "Flow Size Difference" Can Make a Difference: Detecting Malicious TCP Network Flows Based on Benford's Law

Aamo Iorliam, Santosh Tirunagari외 4명|arXiv (Cornell University)|2016. 09. 14.

Benford’s Law and Fraud Detection참고 문헌 42인용 수 4

한 줄 요약

이 논문은 새로운 네트워크 플로우 메트릭인 '플로우 크기 차이'에 벤포르드의 법칙을 적용하여 악성 TCP 플로우를 탐지하는 새로운 비지도 이상 탐지 시스템(IPS)을 제안한다. 정상 플로우는 이 메트릭에서 벤포르드의 법칙을 잘 따르지만, 악성 플로우는 크게 이탈하여, 학습 데이터나 복잡한 설정 없이도 높은 AUC 성능을 기록하는 효과적인 이상 탐지가 가능하다. 실제 데이터셋에서 검증됨.

ABSTRACT

Statistical characteristics of network traffic have attracted a significant amount of research for automated network intrusion detection, some of which looked at applications of natural statistical laws such as Zipf's law, Benford's law and the Pareto distribution. In this paper, we present the application of Benford's law to a new network flow metric "flow size difference", which have not been studied before by other researchers, to build an unsupervised flow-based intrusion detection system (IDS). The method was inspired by our observation on a large number of TCP flow datasets where normal flows tend to follow Benford's law closely but malicious flows tend to deviate significantly from it. The proposed IDS is unsupervised, so it can be easily deployed without any training. It has two simple operational parameters with a clear semantic meaning, allowing the IDS operator to set and adapt their values intuitively to adjust the overall performance of the IDS. We tested the proposed IDS on two (one closed and one public) datasets, and proved its efficiency in terms of AUC (area under the ROC curve). Our work showed the "flow size difference" has a great potential to improve the performance of any flow-based network IDSs.

연구 동기 및 목표

• 제안된 신규 메트릭인 '플로우 크기 차이'가 정상 TCP 네트워크 트래픽에서 벤포르드의 법칙을 잘 따르는지 조사하는 것.
• 벤포르드의 법칙을 플로우 크기 차이에 적용한 임계값 기반의 비지도 IDS를 개발하여 악성 플로우를 탐지하는 것.
• 라벨이 부여된 악성 활동이 포함된 실제 및 공개 네트워크 데이터셋에서 방법의 성능을 평가하는 것.
• 플로우 크기만으로는 부족하고, 플로우 크기 차이가 더 효과적인 이상 탐지 지표임을 입증하는 것.
• 실제 환경에 쉽게 구현할 수 있도록 두 가지 직관적인 파rameter를 가진 단순하고 해석 가능한 IDS를 제공하는 것.

제안 방법

• 저자는 양방향 TCP 플로우에서 전송된 바이트 수와 수신된 바이트 수의 절대 차이를 '플로우 크기 차이'로 정의한다.
• 플로우 크기 차이 값의 첫 번째 자릿수 분포에 벤포르드의 법칙을 적용한다.
• 이 방법은 두 운영 파rameter를 사용한다: T(벤포르드의 법칙 준수 정도에 대한 허용 범위), W(플로우 집계에 사용하는 슬라이딩 윈도우 크기).
• 플로우 크기 차이의 벤포르드의 법칙 적합도에 대한 콜모고로프-스미르노프 검정 p-값이 T 이하일 경우 이상으로 간주한다. 이는 W개의 플로우로 구성된 윈도우 내에서 수행된다.
• 이 IDS는 지도 학습이 필요 없으며, 운영자가 직관적으로 파rameter를 조정할 수 있어 비지도 방식으로 작동한다.
• 이 방법은 두 데이터셋—폐쇄형 TRT 데이터셋과 공개 데이터셋—에서 평가되었으며, 주요 성능 지표로 AUC를 사용하였다.

실험 결과

연구 질문

• RQ1 정상 TCP 플로우에서 '플로우 크기 차이' 메트릭이 벤포르드의 법칙을 얼마나 잘 따르는가?
• RQ2 악성 TCP 플로우는 '플로우 크기 차이' 메트릭에서 벤포르드의 법칙에서 얼마나 크게 이탈하는가?
• RQ3 벤포르드의 법칙을 '플로우 크기 차이'에 적용한 비지도 IDS가 최소한의 설정으로도 높은 탐지 성능을 달성할 수 있는가?
• RQ4 파rameter T와 W는 IDS의 탐지 정확도와 변화하는 위협에 대한 적응성에 어떤 영향을 미치는가?
• RQ5 이 방법은 UDP나 ICMP와 같은 다른 플로우 유형이나 일반화된 형태의 벤포르드의 법칙으로도 일반화될 수 있는가?

주요 결과

• 정상 TCP 플로우는 플로우 크기 차이 메트릭에서 벤포르드의 법칙을 강하게 따르지만, 악성 플로우는 크게 이탈한다.
• 제안된 IDS는 폐쇄형 TRT 데이터셋과 공개 데이터셋 양쪽에서 높은 AUC 성능을 기록하여 강력한 탐지 능력을 입증하였다.
• 학습 데이터가 필요 없어, 공격 시그니처에 대한 사전 지식 없이도 실세계 환경에 쉽게 구현 가능하다.
• 파라미터 T와 W는 명확한 의미를 지니며, 운영자가 원하는 감도와 반응성에 맞게 직관적으로 시스템을 조정할 수 있다.
• 공격자가 벤포르드의 법칙을 정확히 모방하거나 공격 빈도를 극도로 줄여야만 회피가 가능하므로, 이 방법은 회피 시도에 강건하다. 이는 실현 가능하거나 자기 모순적인 전략이다.
• 플로우 크기 차이에서 유도된 통계적으로 강건한 신규 특징을 도입함으로써, 기존 플로우 기반 IDS의 성능 향상 잠재력이 있음.