[논문 리뷰] Classification and Explanation of Distributed Denial-of-Service (DDoS) Attack Detection using Machine Learning and Shapley Additive Explanation (SHAP) Methods

Yuanyuan Wei, Julian Jang‐Jaccard외 3명|arXiv (Cornell University)|2023. 06. 27.

Network Security and Intrusion Detection인용 수 4

한 줄 요약

이 논문은 고정확도와 해석 가능성 모두를 확보하기 위해 특성 선택과 설명 가능한 인공지능(Explainable AI)을 융합한 기계학습 프레임워크를 제안한다. CICDDoS2019 데이터셋에서 상위 20개 특성을 선택한 다층퍼셉트론(MLP) 분류기의 SHAP 설명을 활용하여, 한 명대일 및 한 명대다 분류 시나리오에서 모두 99% 이상의 정확도를 달성하였으며, SHAP는 특성 기여도에 대한 전역적 및 국소적 해석 가능성을 제공한다.

ABSTRACT

DDoS attacks involve overwhelming a target system with a large number of requests or traffic from multiple sources, disrupting the normal traffic of a targeted server, service, or network. Distinguishing between legitimate traffic and malicious traffic is a challenging task. It is possible to classify legitimate traffic and malicious traffic and analysis the network traffic by using machine learning and deep learning techniques. However, an inter-model explanation implemented to classify a traffic flow whether is benign or malicious is an important investigation of the inner working theory of the model to increase the trustworthiness of the model. Explainable Artificial Intelligence (XAI) can explain the decision-making of the machine learning models that can be classified and identify DDoS traffic. In this context, we proposed a framework that can not only classify legitimate traffic and malicious traffic of DDoS attacks but also use SHAP to explain the decision-making of the classifier model. To address this concern, we first adopt feature selection techniques to select the top 20 important features based on feature importance techniques (e.g., XGB-based SHAP feature importance). Following that, the Multi-layer Perceptron Network (MLP) part of our proposed model uses the optimized features of the DDoS attack dataset as inputs to classify legitimate and malicious traffic. We perform extensive experiments with all features and selected features. The evaluation results show that the model performance with selected features achieves above 99\% accuracy. Finally, to provide interpretability, XAI can be adopted to explain the model performance between the prediction results and features based on global and local explanations by SHAP, which can better explain the results achieved by our proposed framework.

연구 동기 및 목표

• 보안 전문가들이 모델의 해석 가능성을 확보하면서도 고정확도로 DDoS 공격을 탐지할 수 있는 도전 과제를 해결하기 위해.
• 다양한 특성 기여도 기법을 활용해 가장 관련성이 높은 특성들을 선별하여 모델의 복잡도를 감소시키고 성능을 향상시키기 위해.
• 전역적 및 국소적 해석 가능성을 확보하기 위해 SHAP를 활용해 모델 예측의 투명하고 인간이 이해할 수 있는 설명을 제공하기 위해.
• 한 명대일(정상 대 하나의 공격 유형) 및 한 명대다(정상 대 다수의 공격 유형) 분류 시나리오에서 프레임워크의 성능을 평가하기 위해.
• 설명 가능한 인공지능이 사이버보안 응용 분야에서 블랙박스 모델에 대한 신뢰를 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 세 가지 XGBoost 기반 기여도 기법을 활용한 특성 선택: XGB 기반 특성 기여도, 순열 특성 기여도, SHAP 기반 특성 기여도.
• CICDDoS2019 데이터셋에서 가장 영향력이 높은 상위 20개 특성을 선별하여 최적화된 특성 서브셋을 구성.
• 정상 및 악성 트래픽의 이진 분류를 위해 최적화된 특성 서브셋에 기반한 다층퍼셉트론(MLP) 분류기 학습.
• 두 가지 시나리오에서 모델 성능 평가: 한 명대일(정상 대 하나의 공격 유형) 및 한 명대다(정상 대 다수의 DDoS 공격 유형).
• 모델 예측의 전역적 및 국소적 설명을 위해 커널 SHAP 적용, 분류 결과에 대한 특성 기여도 시각화.
• 개별 예측을 해석하기 위해 포스 플롯(Force plots) 사용, 정상(1.00) 또는 악성(0.00) 클래스로의 예측 영향을 주는 특성들 시각화.

실험 결과

연구 질문

• RQ1 CICDDoS2019 데이터셋에서 상위 20개의 중요 특성만을 사용하여 기계학습 모델이 99% 이상의 정확도로 DDoS 공격을 분류할 수 있는가?
• RQ2 XGBoost, 순열, SHAP 등의 다양한 특성 기여도 기법이 DDoS 탐지에 적합한 특성을 식별하는 데 어떻게 비교될 수 있는가?
• RQ3 SHAP는 MLP 분류기의 DDoS 트래픽 예측에 대해 어느 정도의 의미 있는 국소적 및 전역적 설명을 제공할 수 있는가?
• RQ4 모델이 트래픽을 정상 또는 악성으로 분류하는 데 가장 영향을 미치는 핵심 특성들은 무엇인가?
• RQ5 특성 선택과 SHAP 해석 가능성의 조합이 블랙박스 DDoS 탐지 모델에 대한 신뢰를 향상시킬 수 있는가?

주요 결과

• 상위 20개 특성으로 구성된 특성 서브셋에 기반한 MLP 분류기는 한 명대일 및 한 명대다 분류 시나리오에서 모두 99% 이상의 정확도를 달성하였다.
• 특성 'Inbound'는 일관되게 상위 기여 특성으로 나타났으며, 값이 0 또는 1일 경우 정상 또는 악성 클래스로의 예측 영향이 뚜렷했다.
• SHAP 기반 국소 설명은 잘못 분류된 인스턴스를 명확히 식별하였으며, 예를 들어 'Inbound'(0) 및 'Min Packet Length'(0) 등의 특성 기여도가 높아 정상 트래픽가 악성으로 잘못 분류된 경우를 설명하였다.
• 전역 SHAP 설명은 특성들을 기여도 내림차순으로 정렬하였으며, 'Min Packet Length', 'Fwd Packet Length Min', 'Inbound' 등이 가장 영향력 있는 특성으로 나타났다.
• 포스 플롯은 개별 특성의 영향력을 효과적으로 시각화하였으며, 정상 또는 악성 레이블로의 예측 영향을 주는 양(빨간색) 및 음(파란색) 기여도를 명확히 보여주었다.
• 이 프레임워크는 고정확도의 DDoS 탐지가 축소된 특성 세트를 사용함에도 불구하고 SHAP를 통한 완전한 해석 가능성 유지가 가능함을 성공적으로 입증하였다.