[논문 리뷰] IoTGeM: Generalizable Models for Behaviour-Based IoT Attack Detection

Kahraman Kostas, Mike Just외 1명|ArXiv.org|2023. 10. 17.

Network Security and Intrusion Detection인용 수 4

한 줄 요약

IoTGeM은 개선된 특징 공학과 다단계 특징 선택 프로세스를 통해 과적합을 줄이고 일반화 가능하며 견고한 행동 기반 IoT 공격 탐지 프레임워크를 제안한다. 고립된 훈련/테스트 분할, 다양한 머신러닝 모델, 해석 가능한 AI(SHAP)를 활용함으로써, 다양한 데이터셋에서 높은 탐지 정확도를 달성하면서도 재현 가능성과 모델 해석 가능성을 보장한다.

ABSTRACT

Previous research on behavior-based attack detection for networks of IoT devices has resulted in machine learning models whose ability to adapt to unseen data is limited and often not demonstrated. This paper presents IoTGeM, an approach for modeling IoT network attacks that focuses on generalizability, yet also leads to better detection and performance. We first introduce an improved rolling window approach for feature extraction. To reduce overfitting, we then apply a multi-step feature selection process where a Genetic Algorithm (GA) is uniquely guided by exogenous feedback from a separate, independent dataset. To prevent common data leaks that have limited previous models, we build and test our models using strictly isolated train and test datasets. The resulting models are rigorously evaluated using a diverse portfolio of machine learning algorithms and datasets. Our window-based models demonstrate superior generalization compared to traditional flow-based models, particularly when tested on unseen datasets. On these stringent, cross-dataset tests, IoTGeM achieves F1 scores of 99\% for ACK, HTTP, SYN, MHD, and PS attacks, as well as a 94\% F1 score for UDP attacks. Finally, we build confidence in the models by using the SHAP (SHapley Additive exPlanations) explainable AI technique, allowing us to identify the specific features that underlie the accurate detection of attacks.

연구 동기 및 목표

• 기존 행동 기반 IoT 침입 탐지 모델의 일반화 능력이 제한된 이유인 데이터 泄露와 과적합 문제를 해결한다.
• 데이터 泄露를 방지하기 위해 고립된 훈련/테스트 분할을 활용한 재현 가능하고 견고한 IoT 공격 탐지 방법론을 개발한다.
• 향상된 윈도우 기반 특징 추출 방법과 유전 알고리즘 기반의 다단계 특징 선택 프로세스를 통해 탐지 성능을 향상시킨다.
• 해석 가능한 AI(SHAP)를 통해 모델의 해석 가능성과 신뢰도를 확보하여 공격 탐지의 핵심 요소가 되는 특징을 규명한다.
• 다양한 데이터셋, 머신러닝 모델, 평가 지표를 통해 프레임워크의 신뢰성과 일반화 능력을 검증한다.

제안 방법

• 기존 방법보다 더 효과적으로 시간적 네트워크 행동을 포착할 수 있는 새로운 윈도우 기반 특징 추출 방법을 구현한다.
• 외부 피드백을 활용한 유전 알고리즘을 사용한 다단계 특징 선택 프로세스를 적용하여 부적절하거나 과적합 경향이 있는 특징을 제거한다.
• 데이터 泄露를 방지하고 모델의 일반화 능력을 보장하기 위해 엄격하게 고립된 훈련 및 테스트 데이터셋을 사용한다.
• 다양한 머신러닝 모델(SVM, XGBoost, Random Forest, Logistic Regression 등)과 평가 지표를 활용해 프레임워크를 평가한다.
• SHAP(SHapley Additive exPlanations)를 활용해 모델 결정을 해석하고 공격 탐지에 가장 영향을 미치는 특징을 규명한다.
• 모든 코드와 데이터셋을 GitHub를 통해 공개하여 재현 가능성과 커뮤니티 검증을 보장한다.

Figure 2: The visualisation of steps in system implementation.

실험 결과

연구 질문

• RQ1 행동 기반의 IoT 공격 탐지 머신러닝 모델은 미리 보지 못한 데이터셋과 공격 유형에 대해 높은 일반화 능력을 달성할 수 있는가?
• RQ2 제안된 윈도우 기반 특징 추출 방법은 기존 방법 대비 탐지 성능을 어떻게 향상시키는가?
• RQ3 다단계 특징 선택 프로세스는 과적합을 어느 정도 줄이고 모델의 견고성을 향상시키는가?
• RQ4 어떤 네트워크 특징이 특정 IoT 공격을 예측하는 데 가장 예측력이 있는가? 그리고 그 중요도는 어떻게 정량적으로 평가할 수 있는가?
• RQ5 해석 가능한 AI 기법(SHAP)은 정확한 공격 탐지의 원인을 이루는 특징을 효과적으로 식별하고 검증할 수 있는가?

주요 결과

• IoTGeM 프레임워크는 Logistic Regression을 사용해 PS(포트 스캐닝) 데이터셋에서 F1-스코어 0.994를 기록하여 거의 완벽한 탐지 성능를 보였다.
• SYN(SYN 플러드) 데이터셋에서는 XGBoost가 F1-스코어 0.969를 기록하여 다양한 공격 유형에 걸쳐 강력한 일반화 능력을 입증했다.
• 고립된 훈련/테스트 분할을 사용함으로써 데이터 泄露 위험이 크게 감소하여 모델의 신뢰성과 일반화 능력이 향상되었다.
• SHAP 분석을 통해 패킷 주기, 흐름 지속 시간, 프로토콜별 이상 현상 등의 특징이 여러 공격 유형에서 일관되게 예측력이 있음을 확인했다.
• 다단계 특징 선택 프로세스를 통해 과적합이 감소했으며, 이는 다양한 모델과 데이터셋에서 일관된 성능을 통해 입증되었다.
• 모든 평가된 데이터셋에서 기준 모델 대비 F1-스코어와 AUC 모두에서 프레임워크가 뛰어난 성능을 보였고, 성능 지표의 변동성이 매우 미미했다.

Figure 3: Use of data in this study. Train/CV=Training and cross-validation. HPO=Feature reduction and hyperparameter selection. Validation=Data validation and feature selection. S-n= Session n.