[논문 리뷰] Feature Extraction for Novelty Detection in Network Traffic

Kun Yang, Samory Kpotufe외 1명|arXiv (Cornell University)|2020. 06. 30.

Network Security and Intrusion Detection참고 문헌 30인용 수 5

한 줄 요약

이 논문은 이상 탐지에서 네트워크 트래픽 표현의 특징 추출 및 엔드 투 엔드 평가를 위한 체계적 프레임워크와 오픈소스 툴킷(NetML)을 제안한다. 원시 시계열 특징인 IAT와 SAMP-NUM이 푸리에 도메인 변환보다 우수하며, 특징 선택이 다양한 이상 유형과 기계학습 모델 간의 탐지 정확도에 크게 영향을 준다는 것을 입증한다.

ABSTRACT

Data representation plays a critical role in the performance of novelty detection (or ``anomaly detection'') methods in machine learning. The data representation of network traffic often determines the effectiveness of these models as much as the model itself. The wide range of novel events that network operators need to detect (e.g., attacks, malware, new applications, changes in traffic demands) introduces the possibility for a broad range of possible models and data representations. In each scenario, practitioners must spend significant effort extracting and engineering features that are most predictive for that situation or application. While anomaly detection is well-studied in computer networking, much existing work develops specific models that presume a particular representation -- often IPFIX/NetFlow. Yet, other representations may result in higher model accuracy, and the rise of programmable networks now makes it more practical to explore a broader range of representations. To facilitate such exploration, we develop a systematic framework, open-source toolkit, and public Python library that makes it both possible and easy to extract and generate features from network traffic and perform and end-to-end evaluation of these representations across most prevalent modern novelty detection models. We first develop and publicly release an open-source tool, an accompanying Python library (NetML), and end-to-end pipeline for novelty detection in network traffic. Second, we apply this tool to five different novelty detection problems in networking, across a range of scenarios from attack detection to novel device detection. Our findings general insights and guidelines concerning which features appear to be more appropriate for particular situations.

연구 동기 및 목표

• 네트워크 트래픽 이상 탐지에서 효과적인 데이터 표현을 선택하기 위한 일반화 가능하고 재현 가능한 가이드라인의 부족을 해결하기 위해.
• 맞춤형 및 일시적인 특징 공학의 필요성을 줄이기 위해 통합된 오픈소스 프레임워크를 제공함으로써 특징 추출 및 모델 평가를 위한 통합 솔루션을 제공하기 위해.
• 시간 도메인, 통계적 특징, 푸리에 도메인 등 다양한 특징 표현 방식이 여러 이상 탐지 문제와 기계학습 모델 간에 미치는 영향을 평가하기 위해.
• 공격, 새로운 장치, 애플리케이션 변경과 같은 다양한 유형의 새로운 네트워크 행동을 탐지하는 데 가장 효과적인 특징과 표현 방식을 특정하기 위해.
• 공개된 파이썬 라이브러리(NetML)와 네트워크 이상 탐지용 엔드 투 엔드 파이프라인을 배포함으로써 재현 가능성 향상과 연구 속도 향상을 촉진하기 위해.

제안 방법

• 원시 패킷 캡처에서 공통 특징을 추출할 수 있는 오픈소스 파이썬 라이브러리(NetML)를 개발하여, 상호 간격(IAT), 샘플 수(SAMP-NUM), 샘플 크기(SAMP-SIZE) 등을 포함한다.
• 다양한 특징 표현을 생성할 수 있도록 구성 가능하고 모듈식인 파이프라인을 설계하여, 시계열, 통계 요약, 푸리에 변환 특징을 포함한다.
• 다양한 이상 유형을 반영하는 다섯 개의 실세계 데이터셋(공격, IoT 장치 행동, 애플리케이션 수준 트래픽 변화)을 대상으로 특징 표현을 평가한다.
• ROC 곡선 아래 면적(AUC)을 주요 평가 지표로 삼아, 다양한 비지도 이상 탐지 모델(OCSVM, GMM, KDE, AE, PCA)의 성능을 비교한다.
• 모델 간 및 특징 집합 간 공정한 비교를 보장하기 위해 일관된 초모수 튜닝 및 교차 검증을 실시한다.
• 특정 헤더 값(예: IP 주소, 포트 번호)을 피하기 위해 표현에 독립적인 특징에 중점을 두어, 모델이 정체성보다는 행동 패턴에 기반해 이상을 탐지하도록 한다.

실험 결과

연구 질문

• RQ1 시간 도메인, 통계적 특징, 푸리에 도메인 등 다양한 특징 표현 방식 중 어떤 것이 다양한 종류의 네트워크 이상에 대해 가장 높은 탐지 정확도를 제공하는가?
• RQ2 집계 윈도우 또는 샘플링 속도의 선택이 이상 탐지 모델의 성능에 어떤 영향을 미치는가?
• RQ3 네트워크 트래픽에서 원시 시계열 특징에 비해 푸리에 도메인 표현이 얼마나 성능 향상에 기여하는가?
• RQ4 다양한 기계학습 모델(OCSVM, GMM, AE 등)이 동일한 특징 표현과 이상 유형에서 어떻게 성능을 내는가?
• RQ5 다양한 네트워크 장치와 트래픽 환경(예: IoT, PC, 서버) 간에 특징 효과성에 일반화 가능한 패턴이 존재하는가?

주요 결과

• 원시 시계열 특징인 상호 간격(IAT)과 샘플 수(SAMP-NUM)가 푸리에 도메인 표현보다 일관되게 뛰어난 성능을 보였으며, 대부분의 모델과 데이터셋에서 FFT를 적용해도 AUC에 유의미한 향상이 없었다.
• 통계적 특징(STATS)과 샘플 크기(SAMP-SIZE)는 일부 데이터셋, 특히 BSTch와 SFrig에서 높은 탐지 성능을 달성했으며, 이들 데이터셋에서는 이러한 표현 하에서 이상 탐지 문제가 거의 해결된 상태였다.
• SFrig에서 TCP 헤더의 ACK 플래그가 지표와 높은 상관관계를 보였으며, 이는 프로토콜 수준의 행동(예: 지연된 ACK)이 새로운 사용자 또는 애플리케이션 행동을 강력하게 나타낼 수 있음을 시사한다.
• SYN 및 FIN 패킷 분포는 흐름 볼륨 또는 흐름 생성 패턴의 변화를 효과적으로 나타내었으며, 이는 새로운 또는 이방성 흐름을 탐지하는 데 유용할 수 있음을 시사한다.
• 특히 복잡하고 동적인 환경(예: IoT 트래픽)에서 특징 표현 간 성능 격차가 가장 두드러졌으며, 이는 시계열 및 통계적 특징이 미세한 행동 변화를 더 잘 포착할 수 있음을 의미한다.
• 연구 결과, 모델 성능는 모델 선택보다 특징 표현에 더 민감하게 영향을 받는 것으로 나타나, 이상 탐지에서 특징 공학의 핵심적 역할을 확인할 수 있었다.