[논문 리뷰] A Robust Comparison of the KDDCup99 and NSL-KDD IoT Network Intrusion Detection Datasets Through Various Machine Learning Algorithms

Suchet Sapre, Pouyan Ahmadi외 1명|arXiv (Cornell University)|2019. 12. 31.

Network Security and Intrusion Detection참고 문헌 4인용 수 49

한 줄 요약

이 논문은 다수의 ML 분류기에 걸쳐 KDDCup99와 NSL-KDD IoT 침입 데이터셋을 비교하고, NSL-KDD가 더 높은 품질이지만 엄격성과 중복성 감소로 정확도가 낮아진다고 결론짓습니다.

ABSTRACT

In recent years, as intrusion attacks on IoT networks have grown exponentially, there is an immediate need for sophisticated intrusion detection systems (IDSs). A vast majority of current IDSs are data-driven, which means that one of the most important aspects of this area of research is the quality of the data acquired from IoT network traffic. Two of the most cited intrusion detection datasets are the KDDCup99 and the NSL-KDD. The main goal of our project was to conduct a robust comparison of both datasets by evaluating the performance of various Machine Learning (ML) classifiers trained on them with a larger set of classification metrics than previous researchers. From our research, we were able to conclude that the NSL-KDD dataset is of a higher quality than the KDDCup99 dataset as the classifiers trained on it were on average 20.18% less accurate. This is because the classifiers trained on the KDDCup99 dataset exhibited a bias towards the redundancies within it, allowing them to achieve higher accuracies.

연구 동기 및 목표

• IoT 침입 탐지를 위한 KDDCup99와 NSL-KDD의 비교 데이터 품질 평가.
• 더 넓은 지표 세트를 사용하여 두 데이터셋에서 다수의 ML 분류기를 평가한다.
• 데이터셋 특성(중복성, 균형)이 분류기 성능에 미치는 영향을 이해한다.
• 경험적 결과에 기반하여 IDS 연구를 위한 데이터셋 선택에 대한 지침을 제공한다.

제안 방법

• 두 데이터셋의 범주형 특성을 원-핫 인코딩하고 학습/테스트 분할에 L2 정규화를 적용한다.
• 두 데이터셋에서 Naïve Bayes, Support Vector Machines, Random Forest, 인공 신경망을 학습하고 평가한다.
• 이진 분류와 유형 분류 작업을 사용하며, ANN 아키텍처는 두 개의 은닉층(각각 100 노드)이다.
• SVM은 선형 커널을 사용하고 이진 분류에 대해 학습 데이터의 0.05% 무작위 샘플을 사용한다.
• Random Forest는 5개의 추정기(결정 트리)와 이진 및 유형 분류 모두에 대해 학습 데이터의 0.1% 무작위 샘플을 사용한다.
• 정확도(유형 분류)와 정밀도/재현율/F1(이진 분류)으로 성능을 평가한다.
• Adam으로 ANN을 최적화하고, 20 에폭의 조기 중단을 두며, 모델 체크포인트를 사용한다; 손실은 교차 엔트로피를 사용하고 출력은 소프트맥스/시그모이드로 한다.

실험 결과

연구 질문

• RQ1 다른 ML 분류기에 걸쳐 IoT 침입 탐지를 위한 데이터셋 품질 면에서 KDDCup99와 NSL-KDD는 어떻게 비교되는가?
• RQ2 KDDCup99에서 학습된 분류기가 중복성으로 인해 더 높은 정확도를 달성하는가, 그리고 NSL-KDD의 더 높은 품질이 이 편향을 줄이는가?
• RQ3 유형 분류와 이진 분류 작업이 데이터셋 간에 분류기 성능에 어떻게 차이가 있는가?
• RQ4 데이터셋 특성(클래스 불균형, 중복성)이 정밀도, 재현율, F1 점수에 미치는 영향은 무엇인가?
• RQ5 그 엄격성을 고려할 때 앙상블 또는 스택드 방법이 NSL-KDD 성능을 향상시킬 수 있는가?

주요 결과

• NSL-KDD는 KDDCup99보다 품질이 높으며, 쉽게 분류할 수 있는 레코드의 제거로 NSL-KDD에서의 분류기 정확도가 평균 20.18% 낮아진다.
• 인공 신경망은 두 데이터셋에서 유형 분류 정확도에서 일관되게 가장 높지만, NSL-KDD로 학습된 분류기의 재현율은 현저히 낮다(예: NSL-KDD 재현율 평균 약 0.556 대 KDDCup99의 0.902).
• 이진 분류 결과는 두 데이터셋에서 F1-점수 면에서 SVM을 선호하고, Random Forest가 가장 높은 정밀도를 제공한다; NSL-KDD의 평균 F1은 현저히 낮아 0.6630 대 KDDCup99의 0.9452이다.
• KDDCup99 PCA 플롯은 침입 유형 간의 분리가 더 크지만, NSL-KDD는 더 많은 중첩을 보이며 KDDCup99에서의 더 쉬운 분류와 일치하지만 KDDCup99의 중복성을 시사한다.
• R2L 및 U2R 침입 유형은 ANN이 NSL-KDD에서 잘 감지하지 못하고 매우 낮은 진양성률을 보여 이 클래스들에 남아 있는 데이터 품질 문제를 시사한다.