[논문 리뷰] Evaluation of Machine Learning Classifiers for Zero-Day Intrusion Detection -- An Analysis on CIC-AWS-2018 dataset

Qianru Zhou, Dimitrios P. Pezaros|arXiv (Cornell University)|2019. 05. 09.

Network Security and Intrusion Detection참고 문헌 9인용 수 52

한 줄 요약

논문은 CICFlowMeter 특징을 이용한 CIC-AWS-2018 데이터셋에서 제로데이 침입 탐지를 위해 여섯 ML 분류기를 평가하고, 의사결정 트리 같은 간단한 모델이 높은 정확도를 달성할 수 있음을 시사한다.

ABSTRACT

Detecting Zero-Day intrusions has been the goal of Cybersecurity, especially intrusion detection for a long time. Machine learning is believed to be the promising methodology to solve that problem, numerous models have been proposed but a practical solution is still yet to come, mainly due to the limitation caused by the out-of-date open datasets available. In this paper, we take a deep inspection of the flow-based statistical data generated by CICFlowMeter, with six most popular machine learning classification models for Zero-Day attacks detection. The training dataset CIC-AWS-2018 Dataset contains fourteen types of intrusions, while the testing datasets contains eight different types of attacks. The six classification models are evaluated and cross validated on CIC-AWS-2018 Dataset for their accuracy in terms of false-positive rate, true-positive rate, and time overhead. Testing dataset, including eight novel (or Zero-Day) real-life attacks and benign traffic flows collected in real research production network are used to test the performance of the chosen decision tree classifier. Promising results are received with the accuracy as high as 100% and reasonable time overhead. We argue that with the statistical data collected from CICFlowMeter, simple machine learning models such as the decision tree classification could be able to take charge in detecting Zero-Day attacks.

연구 동기 및 목표

• CICFlowMeter에서 흐름 기반 통계 데이터로 제로데이 침입 탐지 성능 평가.
• CIC-AWS-2018 학습/테스트 분할에서 여섯 기계 학습 분류기 비교.
• 각 모델의 정확도, 오탐/정탐 비율, 시간 오버헤드 분석.
• 제로데이 공격을 효과적으로 탐지할 수 있는 간단한 모델 여부 확인.

제안 방법

• 네트워크 데이터에서 흐름 기반 통계 특성 추출에 CICFlowMeter 사용.
• 14개의 학습 침입 유형과 8개의 테스트 유형으로 CIC-AWS-2018 데이터셋에서 여섯 ML 분류 모델 평가.
• 정확도, 오탐률, 진짜 양성률, 시간 오버헤드를 측정하기 위한 교차 검증 수행.
• 선택된 모델을 실제 제로데이 공격 및 정상 트래피에 대해 테스트하여 실용적 성능 평가.
• 간단한 모델(예: 의사결정 트리)이 제로데이 탐지에 유효한지 결과 비교.

실험 결과

연구 질문

• RQ1 CIC-AWS-2018에서 제로데이 침입 탐지를 위한 정확도와 오버헤드의 최적 균형을 제공하는 ML 분류기는?
• RQ2 의사결정 트리와 같은 간단한 모델이 이 데이터셋에서 더 복잡한 모델과 경쟁력 있는 성능을 달성할 수 있는가?
• RQ3 실제 운영 네트워크 데이터에서 제로데이 공격 및 정상 트래픽에 대한 모델의 성능은?

주요 결과

• 여섯 개 ML 모델이 CIC-AWS-2018 데이터셋에서 평가되었다.
• 학습 세트에는 14개의 침입 유형, 테스트 세트에는 8개의 침입 유형이 포함된다.
• 실제 제로데이 공격 및 정상 트래픽으로의 테스트에서 정확도가 최대 100%에 달하는 유망한 결과를 보였다.
• 모델의 시간 오버헤드는 합리적 수준으로 남아 실용적 배치를 지지한다.
• 본 연구는 CICFlowMeter 특징을 사용한 의사결정 트리와 같은 간단한 모델이 제로데이 공격을 효과적으로 탐지할 수 있음을 주장한다.