[논문 리뷰] Network Traffic Anomaly Detection Using Recurrent Neural Networks

Benjamin J. Radford, Leonardo M. Apolonio외 2명|arXiv (Cornell University)|2018. 03. 28.

Network Security and Intrusion Detection참고 문헌 9인용 수 122

한 줄 요약

논문은 토큰화된 netflow 시퀀스에 대해 감독되지 않는 LSTM RNN을 학습하여 정상 네트워크 동작을 모델링하고 이상 트래픽을 탐지하며, ISCX IDS 데이터셋에서 AUC 0.84를 달성한다.

ABSTRACT

We show that a recurrent neural network is able to learn a model to represent sequences of communications between computers on a network and can be used to identify outlier network traffic. Defending computer networks is a challenging problem and is typically addressed by manually identifying known malicious actor behavior and then specifying rules to recognize such behavior in network communications. However, these rule-based approaches often generalize poorly and identify only those patterns that are already known to researchers. An alternative approach that does not rely on known malicious behavior patterns can potentially also detect previously unseen patterns. We tokenize and compress netflow into sequences of "words" that form "sentences" representative of a conversation between computers. These sentences are then used to generate a model that learns the semantic and syntactic grammar of the newly generated language. We use Long-Short-Term Memory (LSTM) cell Recurrent Neural Networks (RNN) to capture the complex relationships and nuances of this language. The language model is then used predict the communications between two IPs and the prediction error is used as a measurement of how typical or atyptical the observed communication are. By learning a model that is specific to each network, yet generalized to typical computer-to-computer traffic within and outside the network, a language model is able to identify sequences of network activity that are outliers with respect to the model. We demonstrate positive unsupervised attack identification performance (AUC 0.84) on the ISCX IDS dataset which contains seven days of network activity with normal traffic and four distinct attack patterns.

연구 동기 및 목표

• Rule-based 시스템을 넘어선 이상 탐지로 네트워크 방어의 도전 과제를 제시한다.
• 네트워크 트래픽 시퀀스의 문법을 학습하기 위한 비지도 LSTM 기반 언어 모델을 제안한다.
• 레이블된 공격 데이터 없이도 학습된 모델이 이상 트래픽을 식별할 수 있음을 보인다.
• 프로-바이트 시퀀스 특징이 탐지 성능에서 서비스 포트 특징보다 우수하다는 것을 보인다.

제안 방법

• 네트워크 흐름(netflow)을 단어의 시퀀스로 분해하고 컴퓨터 간 대화를 나타내는 문장으로 압축한다.
• 두 가지 특징 세트를 사용한다: proto-byte 시퀀스와 service-port 시퀀스, 20% 드롭아웃과 두 개의 스택된 양방향 LSTM 층을 적용한다.
• 토큰을 100차원 공간으로 매핑하는 임베딩 층을 학습하고 10-토큰 윈도우에서 다음 토큰을 예측한다.
• 다중 클래스 로그 손실로 예측에 대한 이상 점수를 평가하고 이원-시간(y dyad-hour)당 최대 이상치 점수를 이상 지표로 사용한다.
• Robustness 및 데이터 필요성을 평가하기 위해 clean baseline, dirty baseline, NoDoS 시나리오를 비교한다.

실험 결과

연구 질문

• RQ1 비지도 LSTM 언어 모델이 일반적인 네트워크 트래픽을 학습하여 레이블이 없는 공격 데이터 없이도 이상치나 악의적 활동을 식별할 수 있는가?
• RQ2 다양한 토큰화 방식(proto-byte 대 service port)이 네트워크 트래픽에서 이상 탐지 성능에 어떤 영향을 미치는가?
• RQ3 Dirty(공격 포함) 데이터로 학습하는 것이 Clean 데이터로 학습하는 것보다 이상 탐지 성능을 향상시키는가?
• RQ4 학습 데이터에서 DoS/DDoS 트래픽을 제거한(NoDoS) 경우에도 방법이 견고한가?

주요 결과

• Proto-byte 시퀀스 모델은 모든 시나리오에서 서비스-포트 시퀀스 모델보다 일관되게 우수하다.
• Dirty baseline 모델(공격을 포함한 데이터로 학습한 모델)은 모든 경우에 Clean baseline 모델보다 우수하다.
• NoDoS proto-byte 모델은 공격 탐지에서 Dirty baseline proto-byte 모델과 실질적으로 동일하게 작동한다.
• 본 방법은 비지도 이상 탐지를 위해 ISCX IDS 데이터셋에서 AUC 0.84를 달성한다.
• 네트워크 특화되면서도 일반화 가능한 모델을 학습해 pristine한 학습 데이터 없이도 악의적 활동을 플래그 할 수 있음을 보여준다.