[논문 리뷰] Hybrid Model For Intrusion Detection Systems

Baha Rababah, Srija Srivastava|arXiv (Cornell University)|2020. 03. 19.

Network Security and Intrusion Detection참고 문헌 19인용 수 11

한 줄 요약

이 논문은 스태킹 앙상블 방법을 통해 결합된 의사결정트리와 랜덤 포레스트를 활용한 하이브리드 침입 탐지 모델을 제안하며, CICIDS2017 데이터셋에서 98%의 정확도와 98%의 정밀도를 기록하고 NSL-KDD에서 85.2%의 정확도와 86.2%의 정밀도를 달성하여 기존 단일 모델 대비 실제 네트워크 트래픽 데이터셋에서 향상된 성능을 입증한다.

ABSTRACT

With the increasing number of new attacks on ever growing network traffic, it is becoming challenging to alert immediately any malicious activities to avoid loss of sensitive data and money. This is making intrusion detection as one of the major areas of concern in network security. Anomaly based network intrusion detection technique is one of the most commonly used technique. Depending upon the dataset used to test those techniques, the accuracy varies. Most of the times this dataset does not represent the real network traffic. Considering this, this project involves analysis of different machine learning algorithms used in intrusion detection systems, when tested upon two datasets which are similar to current real world network traffic(CICIDS2017) and an improvement of KDD 99 (NSL-KDD). After the analysis of different intrusion detection systems on both the datasets, this project aimed to develop a new hybrid model for intrusion detection systems. This new hybrid approach combines decision tree and random forest algorithms using stacking scheme to achieve an accuracy of 85.2% and precision of 86.2% for NSL-KDD dataset, and achieve an accuracy of 98% and precision of 98% for CICIDS2017 dataset.

연구 동기 및 목표

• 기존 침입 탐지 시스템이 오래되거나 대표성이 없는 데이터셋(예: KDD99)에 의존하는 한계를 해결하기 위해.
• CICIDS2017 및 NSL-KDD와 같은 현대적이고 현실적인 네트워크 트래픽 데이터셋을 활용하여 이상 기반 침입 탐지의 정확도와 정밀도를 향상시키기 위해.
• 의사결정트리와 랜덤 포레스트의 장점을 결합한 스태킹 앙상블 접근법을 사용하는 하이브리드 기계학습 모델을 개발하기 위해.
• 제안된 모델의 성능을 실제 네트워크 트래픽 조건과 유사한 두 가지 데이터셋에서 평가하기 위해.
• 기준 데이터셋과 현대적 데이터셋 양쪽에서 개별 모델 대비 높은 탐지 정확도와 정밀도를 달성하기 위해.

제안 방법

• 제안된 모델는 기저 모델(의사결정트리 및 랜덤 포레스트)을 NSL-KDD 및 CICIDS2017 데이터셋에서 훈련하는 스태킹 앙상블 학습 프레임워크를 사용한다.
• 기저 모델의 출력 결과를 메타-러닝러의 입력 특징으로 활용하여 예측을 조합함으로써 전체 분류 성능를 향상시킨다.
• 정확도, 정밀도, 재현율, F1-스코어와 같은 표준 기계학습 평가 지표를 사용하여 모델를 훈련 및 검증한다.
• 사용된 데이터셋인 NSL-KDD 및 CICIDS2017는 범주형 특징 처리, 수치형 특징 정규화, 클래스 분포 균형 조정을 위해 사전 처리된다.
• 기저 모델과 메타-러닝러의 성능 최적화를 위해 하이퍼파rameter 튜닝이 적용된다.
• 최종 모델는 테스트 세트에서 평가되어 미리 보지 못한 네트워크 트래픽 패턴에 대한 일반화 능력을 측정한다.

실험 결과

연구 질문

• RQ1 의사결정트리와 랜덤 포레스트를 조합한 하이브리드 앙상블 모델이 실제 유사 네트워크 트래픽 데이터셋에서 개별 모델 대비 침입 탐지 정확도를 향상시킬 수 있는가?
• RQ2 스태킹 기반 하이브리드 모델의 성능은 CICIDS2017와 NSL-KDD 데이터셋 간에 정확도와 정밀도 측면에서 어떻게 비교되는가?
• RQ3 CICIDS2017와 같은 현대적이고 현실적인 데이터셋을 사용할 경우, 고전적 데이터셋 대비 침입 탐지 시스템의 탐지 성능 향상 정도는 어느 정도인가?
• RQ4 스태킹 앙상블 접근법이 의사결정트리와 랜덤 포레스트의 상호보완적 장점을 효과적으로 활용하여 가짜 양성 결과를 감소시키고 탐지 신뢰도를 향상시키는가?
• RQ5 다양한 트래픽 패턴에서 네트워크 침입을 탐지하는 데 있어 높은 정밀도와 재현율을 달성하기 위한 하이브리드 모델의 최적 설정은 무엇인가?

주요 결과

• 하이브리드 모델은 CICIDS2017 데이터셋에서 98%의 정확도와 98%의 정밀도를 달성하여 현대적이고 현실적인 네트워크 트래픽에서 뛰어난 성능을 보였다.
• NSL-KDD 데이터셋에서는 85.2%의 정확도와 86.2%의 정밀도를 기록하여 데이터셋의 알려진 한계에도 불구하고 일관된 성능을 보였다.
• 스태킹 앙상블 접근법은 단독 의사결정트리 또는 랜덤 포레스트 모델 대비 탐지 성능을 크게 향상시켰다.
• CICIDS2017와 같은 더 현실적인 실생활 데이터셋을 사용함으로써 NSL-KDD 대비 상당히 높은 정확도를 달성하였으며, 이는 데이터셋의 관련성 중요성을 입증한다.
• 모델는 DoS, U2R, R2L 공격 등 다양한 침입 유형을 높은 정밀도로 처리하는 데 있어 강건성을 보였다.
• 결과는 스태킹을 통한 다수의 학습자 조합이 침입 탐지 시스템의 일반화 능력과 탐지 신뢰도를 향상시킨다는 것을 확인한다.