[논문 리뷰] Smart IoT Security: Lightweight Machine Learning Techniques for Multi-Class Attack Detection in IoT Networks

Shahran Rahman Alve, Muhammad Zawad Mahmud외 3명|ArXiv.org|2025. 02. 06.

Network Security and Intrusion Detection인용 수 3

한 줄 요약

논문은 CICIoT 2023 데이터를 사용하여 다중 클래스 IoT 공격 탐지를 위한 경량 앙상블 머신 러닝 접근법을 제시하며, 의사결정 트리가 99.56% 정확도 및 99.62% F1로 최상의 성능을 보임을 발견했습니다.

ABSTRACT

The Internet of Things (IoT) is expanding at an accelerated pace, making it critical to have secure networks to mitigate a variety of cyber threats. This study addresses the limitation of multi-class attack detection of IoT devices and presents new machine learning-based lightweight ensemble methods that exploit its strong machine learning framework. We used a dataset entitled CICIoT 2023, which has a total of 34 different attack types categorized into 10 categories, and methodically assessed the performance of a substantial array of current machine learning techniques in our goal to identify the best-performing algorithmic choice for IoT application protection. In this work, we focus on ML classifier-based methods to address the biocharges presented by the difficult and heterogeneous properties of the attack vectors in IoT ecosystems. The best-performing method was the Decision Tree, achieving 99.56% accuracy and 99.62% F1, indicating this model is capable of detecting threats accurately and reliably. The Random Forest model also performed nearly as well, with an accuracy of 98.22% and an F1 score of 98.24%, indicating that ML methods excel in a scenario of high-dimensional data. These findings emphasize the promise of integrating ML classifiers into the protective defenses of IoT devices and provide motivations for pursuing subsequent studies towards scalable, keystroke-based attack detection frameworks. We think that our approach offers a new avenue for constructing complex machine learning algorithms for low-resource IoT devices that strike a balance between accuracy requirements and time efficiency. In summary, these contributions expand and enhance the knowledge of the current IoT security literature, establishing a solid baseline and framework for smart, adaptive security to be used in IoT environments.

연구 동기 및 목표

• 다양한 사이버 위협과 자원 제약 속에서 안전한 IoT 네트워크를 촉진합니다.
• 다중 클래스 IoT 침입 탐지를 위한 경량 ML 앙상블 방법을 조사합니다.
• 하이퍼파라미터 조정 하에 최적의 수행 분류기를 식별합니다.
• 34개의 공격 유형이 10개 범주로 분류된 CICIoT 2023 데이터셋에서 모델을 평가합니다.

제안 방법

• 34개의 공격 유형이 10개 범주로 구성된 CICIoT 2023 데이터셋을 활용합니다.
• 결측값 처리 및 인코딩을 포함한 전처리; 학습/테스트를 위한 80/20 분할.
• 다섯 가지 알고리즘을 평가합니다: Random Forest, Decision Tree, K-Nearest Neighbor, Gradient Boosting, AdaBoost.
• GridSearchCV를 적용하여 다섯 겹 교차 검증으로 하이퍼파라미터 튜닝을 수행합니다.
• 정밀도, 재현율, F1 점수, 정확도를 계산하고 ROC/AUC 및 혼동 행렬을 분석합니다.

Figure 1: Workflow diagram of the system

실험 결과

연구 질문

• RQ1 CICIoT 2023에서 다중 클래스 IoT 공격 탐지에 대해 어떤 경량 ML 분류기가 가장 높은 정확도와 F1를 제공합니까?
• RQ2 34개의 공격 유형에 걸친 정밀도, 재현율, F1 및 ROC 지표에서 고전 ML 모델은 어떻게 비교됩니까?
• RQ3 IoT 보안 작업에서 모델 성능에 대한 하이퍼파라미터 튜닝의 영향은 무엇입니까?
• RQ4 저자원 IoT 디바이스가 단순한 모델을 사용하여 높은 정확도의 침입 탐지를 달성할 수 있습니까?

주요 결과

모델	정밀도	재현율	F1 점수	정확도 (%)
Random Forest	0.981	0.982	0.982	98.22
Decision Tree	0.997	0.995	0.996	99.56
Gradient Boosting	0.981	0.971	0.982	98.19
AdaBoost	0.972	0.945	0.966	96.26
K-Nearest Neighbor	0.963	0.955	0.962	96.11

• 의사결정 트리가 가장 높은 정확도(99.56%)와 F1(99.62%)를 달성합니다.
• Random Forest도 98.22% 정확도 및 98.24% F1로 강한 성능을 보입니다.
• Gradient Boosting은 98.19% 정확도와 0.982 F1을 달성하고, AdaBoost는 96.26% 정확도이며 KNN은 96.11% 정확도입니다.
• 의사결정 트리의 ROC AUC는 1.00이고 Random Forest의 ROC AUC는 0.99로, 강한 판별 능력을 나타냅니다.
• 이전 연구와의 비교에서 제안된 DT 모델은 CICIoT 2023 데이터셋에서 테스트된 방법 중 최상의 성능을 보였습니다.

Figure 2: ROC curve of Decision Tree Classifier