[논문 리뷰] One-class Collective Anomaly Detection based on Long Short-Term Memory Recurrent Neural Networks

Nga Nguyen Thi, Van Loi Cao외 1명|arXiv (Cornell University)|2018. 01. 31.

Network Security and Intrusion Detection참고 문헌 11인용 수 6

한 줄 요약

이 논문은 정상 시간 시리즈 네트워크 데이터로만 훈련된 장기 단기 기억(LSTM) 순환 신경망을 사용하여 일괄 이상 탐지 모델을 제안한다. 연속적인 다수의 시간 단계 동안의 예측 오차를 분석함으로써, 이러한 오차가 임계값을 초과할 경우 집단 이상을 탐지하며, KDD 1999 시간 시리즈 데이터셋에서 효과적인 탐지를 달성한다.

ABSTRACT

Intrusion detection for computer network systems has been becoming one of the most critical tasks for network administrators today. It has an important role for organizations, governments and our society due to the valuable resources hosted on computer networks. Traditional misuse detection strategies are unable to detect new and unknown intrusion types. In contrast, anomaly detection in network security aims to distinguish between illegal or malicious events and normal behavior of network systems. Anomaly detection can be considered as a classification problem where it builds models of normal network behavior, of which it uses to detect new patterns that significantly deviate from the model. Most of the current approaches on anomaly detection is based on the learning of normal behavior and anomalous actions. They do not include memory that is they do not take into account previous events classify new ones. In this paper, we propose a one class collective anomaly detection model based on neural network learning. Normally a Long Short Term Memory Recurrent Neural Network (LSTM RNN) is trained only on normal data, and it is capable of predicting several time steps ahead of an input. In our approach, a LSTM RNN is trained on normal time series data before performing a prediction for each time step. Instead of considering each time-step separately, the observation of prediction errors from a certain number of time-steps is now proposed as a new idea for detecting collective anomalies. The prediction errors of a certain number of the latest time-steps above a threshold will indicate a collective anomaly. The model is evaluated on a time series version of the KDD 1999 dataset. The experiments demonstrate that the proposed model is capable to detect collective anomaly efficiently

연구 동기 및 목표

• 네트워크 트래픽의 시간적 의존성을 모델링하지 못하는 전통적 이상 탐지 방법의 한계를 해결하기 위해.
• 라벨이 부여된 이상 데이터가 필요 없이 집단 이상을 탐지할 수 있는 일괄 학습 방법을 개발하기 위해.
• LSTM RNN을 활용하여 정상 네트워크 행동의 순차적 의존성을 모델링함으로써, 복잡한 다단계 이상 탐지 능력을 향상시키기 위해.
• 이상 현상을 고립된 사건이 아닌, 다수의 시간 단계에 걸친 편차 패턴으로 인식하기 위해.

제안 방법

• 정상 네트워크 시간 시리즈 데이터로만 훈련된 장기 단기 기억(LSTM) 순환 신경망을 사용하여 시간적 패턴을 학습한다.
• 모델은 순차적 입력을 기반으로 향후 시간 단계를 예측하며, 각 시간 단계별로 예측 오차를 생성한다.
• 최근 시간 단계들의 슬라이딩 윈도우에서의 예측 오차를 집계하여 집단 이상 점수를 형성한다.
• 다수의 시간 단계에 걸쳐 누적된 예측 오차가 사전 정의된 임계값을 초과할 경우 집단 이상으로 표시한다.
• 이 방법은 고립된 이상이 아닌 시간에 걸쳐 공조된 편차에서 기인하는 이상에 집중한다.
• KDD 1999 침입 탐지 데이터셋의 시간 시리즈 변환된 버전을 사용하여 모델을 평가한다.

실험 결과

연구 질문

• RQ1 LSTM 기반 일괄 모델이 시간적 의존성을 활용하여 네트워크 트래픽에서 집단 이상을 효과적으로 탐지할 수 있는가?
• RQ2 다수의 시간 단계에 걸쳐 예측 오차를 집계함으로써, 단일 단계 이상 탐지에 비해 복잡한 다단계 이상 탐지 능력이 어떻게 향상되는가?
• RQ3 오직 정상 데이터로만 훈련된 모델이 이전에 보지 못한 집단 공격 패턴을 어느 정도 탐지할 수 있는가?
• RQ4 예측 오차에 대한 어떤 임계값 전략이 집단 이상 탐지 성능을 최적화하는가?

주요 결과

• 제안된 모델은 시간 단계의 시퀀스 동안 누적된 예측 오차를 분석함으로써 집단 이상을 성공적으로 탐지한다.
• 단일 단계 이상 탐지에 비해 복잡한 시간적 연속 공격 패턴을 포착함으로써 성능이 뛰어나다.
• 시간 시리즈 버전의 KDD 1999 데이터셋에서 효과적인 탐지를 달성하여 실제 환경 유사 조건에서도 강건함을 입증한다.
• 라벨이 부여된 이상 예시가 없이도 정상 훈련 데이터에만 의존함으로써 효과적인 탐지가 가능하다.