[논문 리뷰] Performance evaluation of Machine learning algorithms for Intrusion Detection System

Tripathy Sudhanshu Sekhar, Behera Bichitrananda|arXiv (Cornell University)|2023. 10. 01.

Network Security and Intrusion Detection인용 수 6

한 줄 요약

이 논문은 침입 탐지에 대해 KDD CUP-99 데이터셋에서 14개의 기계학습 알고리즘을 평가하며, 정확도, 정밀도, 재현도, F1-스코어와 같은 표준 지표를 사용해 성능을 비교한다. XG-Boost와 랜덤 포레스트가 높은 탐지 정확도와 네트워크 침입 탐지에 대한 강건성을 보이며, 고차원 데이터의 과제에도 불구하고 최상의 성능을 보였다.

ABSTRACT

The escalation of hazards to safety and hijacking of digital networks are among the strongest perilous difficulties that must be addressed in the present day. Numerous safety procedures were set up to track and recognize any illicit activity on the network's infrastructure. IDS are the best way to resist and recognize intrusions on internet connections and digital technologies. To classify network traffic as normal or anomalous, Machine Learning (ML) classifiers are increasingly utilized. An IDS with machine learning increases the accuracy with which security attacks are detected. This paper focuses on intrusion detection systems (IDSs) analysis using ML techniques. IDSs utilizing ML techniques are efficient and precise at identifying network assaults. In data with large dimensional spaces, however, the efficacy of these systems degrades. correspondingly, the case is essential to execute a feasible feature removal technique capable of getting rid of characteristics that have little effect on the classification process. In this paper, we analyze the KDD CUP-'99' intrusion detection dataset used for training and validating ML models. Then, we implement ML classifiers such as Logistic Regression, Decision Tree, K-Nearest Neighbour, Naive Bayes, Bernoulli Naive Bayes, Multinomial Naive Bayes, XG-Boost Classifier, Ada-Boost, Random Forest, SVM, Rocchio classifier, Ridge, Passive-Aggressive classifier, ANN besides Perceptron (PPN), the optimal classifiers are determined by comparing the results of Stochastic Gradient Descent and back-propagation neural networks for IDS, Conventional categorization indicators, such as "accuracy, precision, recall, and the f1-measure, have been used to evaluate the performance of the ML classification algorithms.

연구 동기 및 목표

• KDD CUP-99 데이터셋을 사용하여 다양한 기계학습 알고리즘의 네트워크 침입 탐지 성능을 평가하는 것.
• 고차원 네트워크 트래픽 데이터에서 침입 탐지에 가장 효과적인 분류기들을 규명하는 것.
• 불필요하거나 중복되는 특성의 영향을 분석함으로써 특성 선택이 모델 성능에 미치는 영향을 평가하는 것.
• 기존의 기계학습 모델들과 앙상블 및 신경망 기반 접근법 간의 탐지 정확도와 강건성 측면에서의 성능을 비교하는 것.
• 표준 평가 지표를 사용하여 기계학습 기반 침입 탐지 시스템에 대한 종합적인 벤치마크를 제공하는 것.

제안 방법

• 연구는 침입 탐지 연구의 표준 벤치마크인 KDD CUP-99 데이터셋을 사용한다.
• 로지스틱 회귀, 결정 트리, K-최근접 이웃, 나이브 베이즈 변종, 서포트 벡터 머신, XG-Boost, Ada-Boost, 랜덤 포레스트, 그리고 퍼셉트론, 역전파를 사용하는 인공신경망(ANN)을 포함한 다양한 기계학습 분류기들을 적용한다.
• 차원 축소 및 분류에 미치는 영향이 미미한 특성의 제거를 위해 특성 선택 기법을 적용한다.
• 정확도, 정밀도, 재현도, F1-측정치와 같은 표준 분류 지표를 사용하여 성능을 평가한다.
• 신경망 모델을 학습하기 위해 확률적 경사 하강법과 역전파를 사용하며, 모든 알고리즘 간 성능을 비교한다.
• 모델들은 표준 훈련-테스트 분할을 사용하여 훈련 및 검증되며, 신뢰성 확보를 위해 다수의 실행 결과를 통합한다.

실험 결과

연구 질문

• RQ1 KDD CUP-99 데이터셋에서 침입 탐지에 대해 어떤 기계학습 알고리즘이 가장 높은 탐지 정확도를 달성하는가?
• RQ2 XG-Boost와 랜덤 포레스트와 같은 앙상블 방법은 로지스틱 회귀와 SVM과 같은 전통적 모델보다 침입 탐지 성능에서 어떻게 비교되는가?
• RQ3 고차원 네트워크 트래픽 데이터에서 기계학습 모델의 분류 성능에 특성 선택이 미치는 영향은 무엇인가?
• RQ4 퍼셉트론, ANN과 같은 신경망 기반 모델은 F1-스코어와 재현도 측면에서 다른 분류기들에 비해 어떻게 성능을 내는가?
• RQ5 정규 및 비정상 네트워크 트래픽을 모두 탐지하는 데 있어 정밀도와 재현도의 균형을 가장 잘 유지하는 모델은 무엇인가?

주요 결과

• XG-Boost는 모든 평가된 모델 중에서 가장 높은 F1-스코어와 정확도를 기록하여 침입 탐지에서 뛰어난 종합 성능을 보였다.
• 랜덤 포레스트는 높은 정밀도와 재현도를 보이며, 복잡한 네트워크 환경에서의 침입 탐지에 강건한 선택지로 나타났다.
• 퍼셉트론과 ANN을 포함한 신경망 모델은 중간 수준의 성능를 보였지만, 대부분의 지표에서 앙상블 방법에 뒤지지 않았다.
• 로지스틱 회귀와 SVM과 같은 전통적 모델은 적절한 성능를 보였지만, 고차원 데이터 처리에서 앙상블 학습기보다는 성능가 낮았다.
• 나이브 베이즈 변종(버니ولي 및 다항식)은 낮은 정확도와 F1-스코어를 보이며, 이 데이터셋에 대해 제한된 효과성을 보였다.
• 특성 선택은 특히 고차원 환경에서 노이즈와 관련 없는 속성을 줄임으로써 모델 성능을 크게 향상시켰다.