[논문 리뷰] Statistical Analysis Driven Optimized Deep Learning System for Intrusion Detection

Cosimo Ieracitano, Ahsan Adeel외 6명|arXiv (Cornell University)|2018. 08. 16.

Network Security and Intrusion Detection참고 문헌 16인용 수 4

한 줄 요약

이 논문은 NSL-KDD 데이터셋을 사용하여 통계적 분석 기반 최적화된 딥 러닝 시스템을 제안한다. 빅데이터 시각화와 통계적 특징 선택을 딥 오토에인코더(AE)와 결합함으로써, 최적화된 상관 특징 추출과 AE 아키텍처의 게으른 사전 훈련을 통해 87%의 정확도를 달성하며, 최신 기술 수준의 모델을 능가한다.

ABSTRACT

Attackers have developed ever more sophisticated and intelligent ways to hack information and communication technology systems. The extent of damage an individual hacker can carry out upon infiltrating a system is well understood. A potentially catastrophic scenario can be envisaged where a nation-state intercepting encrypted financial data gets hacked. Thus, intelligent cybersecurity systems have become inevitably important for improved protection against malicious threats. However, as malware attacks continue to dramatically increase in volume and complexity, it has become ever more challenging for traditional analytic tools to detect and mitigate threat. Furthermore, a huge amount of data produced by large networks has made the recognition task even more complicated and challenging. In this work, we propose an innovative statistical analysis driven optimized deep learning system for intrusion detection. The proposed intrusion detection system (IDS) extracts optimized and more correlated features using big data visualization and statistical analysis methods (human-in-the-loop), followed by a deep autoencoder for potential threat detection. Specifically, a pre-processing module eliminates the outliers and converts categorical variables into one-hot-encoded vectors. The feature extraction module discard features with null values and selects the most significant features as input to the deep autoencoder model (trained in a greedy-wise manner). The NSL-KDD dataset from the Canadian Institute for Cybersecurity is used as a benchmark to evaluate the feasibility and effectiveness of the proposed architecture. Simulation results demonstrate the potential of our proposed system and its outperformance as compared to existing state-of-the-art methods and recently published novel approaches. Ongoing work includes further optimization and real-time evaluation of our proposed IDS.

연구 동기 및 목표

• 현대 네트워크에서 증가하는 복잡성과 양의 사이버 위협을 다루기 위해.
• 기존 기계학습 기술이 고차원적이고 이질적인 네트워크 데이터를 처리하는 데 한계가 있음을 극복하기 위해.
• 통계적 특징 최적화와 딥 러닝을 융합하여 침입 탐지 정확도를 향상시키기 위해.
• 다양한 공격 유형(예: DoS, R2L, Probe)을 저비용의 거짓 경고와 함께 탐지할 수 있는 견고하고 확장 가능한 시스템을 개발하기 위해.
• NSL-KDD 벤치마크 데이터셋에서 기존의 딥 러닝 및 하이브리드 모델을 능가하기 위해.

제안 방법

• 전처리 모듈은 이상치를 제거하고 범주형 변수를 원-핫 인코딩 벡터로 변환한다.
• 특징 추출 모듈은 80% 이상의 결측치를 가진 특징을 제거하고, 통계적 분석을 통해 가장 상관도가 높은 특징을 선택한다.
• 최적화된 특징 집합의 계층적 표현을 학습하기 위해, 게으른 방식의 계층별로 딥 오토에인코더(AE)를 훈련한다.
• 분류 성능를 평가하기 위해, 딥 AE를 얕은 다층 퍼셉트론(MLP) 분류기와 비교한다.
• 시스템은 NSL-KDD 데이터셋에서 탐지 성능을 평가하기 위해 정밀도, 재현율, F-측정값, 정확도 지표를 사용한다.
• 모델 최적화에는 하나, 두, 세 개의 은닉층을 가진 AE 아키텍처를 테스트하여 최적의 깊이를 규명한다.

실험 결과

연구 질문

• RQ1 통계적 분석 기반 특징 선택은 침입 탐지에서 딥 러닝 모델의 성능을 향상시킬 수 있는가?
• RQ2 통계적으로 최적화된 특징으로 훈련된 딥 오토에인코더는 얕은 MLP와 비교해 네트워크 침입 유형을 분류하는 데 어떻게 성능을 내는가?
• RQ3 NSL-KDD 데이터셋에서 침입 탐지에 최적의 딥 오토에인코더 깊이는 얼마인가?
• RQ4 제안된 시스템은 NSL-KDD 벤치마크에서 최근 최신 기술 수준의 모델을 능가하는 정확도를 달성할 수 있는가?
• RQ5 수동적인 통계적 특징 엔지니어링과 자동화된 딥 러닝을 융합하면 모델의 일반화 능력 향상과 거짓 경고 감소에 기여하는가?

주요 결과

• 제안된 딥 오토에인코더 분류기는 87%의 정확도를 달성하여, 비교된 모든 최신 기술 수준의 모델을 능가했으며, 얕은 MLP(81.43% 정확도)보다도 뛰어났다.
• 딥 AE는 R2L 공격 유형에서 F-측정값 98%를 기록하여, MLP의 11.74% F-측정값을 크게 뛰어넘었다.
• 은닉층 1개, 은닉 뉴런 수 50개를 가진 AE($AE_{[50]}$)가 가장 높은 정확도(87%)를 달성했으며, 더 깊은 아키텍처($AE_{[50,25]}$: 82%, $AE_{[50,25,12]}$: 81%)보다 뛰어난 성능을 보였는데, 이는 깊은 모델에서 과도한 압축이 발생했기 때문일 수 있다.
• 딥 AE는 모든 공격 유형에서 뛰어난 성능를 보였으며, 정상(90.27%), DoS(97.61%), Probe(80.14%), R2L(56.83%) 공격 유형에 대해 F-측정값을 기록했다.
• 시스템은 통계적 특징 최적화와 딥 러닝의 융합이 다중 클래스 침입 탐지에서 모델 성능과 견고성을 향상시킨다는 것을 입증했다.
• 결과는 통계적 분석 기반 특징 선택이 입력 표현을 개선하여, 딥 오토에인코더가 네트워크 트래픽 데이터로부터 더 구분력 있는 패턴을 학습할 수 있도록 한다는 것을 확인한다.