[论文解读] IoTGeM: Generalizable Models for Behaviour-Based IoT Attack Detection

Kahraman Kostas, Mike Just+1 more|ArXiv.org|Oct 17, 2023

Network Security and Intrusion Detection被引用 4

一句话总结

IoTGeM 提出了一种可泛化、鲁棒的框架，用于基于行为的物联网攻击检测，通过改进的特征工程和多步特征选择过程减少过拟合。通过采用隔离的训练/测试划分、多种机器学习模型以及可解释人工智能（SHAP），该方法在多个数据集上实现了高检测准确率，同时确保了可重现性和模型可解释性。

ABSTRACT

Previous research on behavior-based attack detection for networks of IoT devices has resulted in machine learning models whose ability to adapt to unseen data is limited and often not demonstrated. This paper presents IoTGeM, an approach for modeling IoT network attacks that focuses on generalizability, yet also leads to better detection and performance. We first introduce an improved rolling window approach for feature extraction. To reduce overfitting, we then apply a multi-step feature selection process where a Genetic Algorithm (GA) is uniquely guided by exogenous feedback from a separate, independent dataset. To prevent common data leaks that have limited previous models, we build and test our models using strictly isolated train and test datasets. The resulting models are rigorously evaluated using a diverse portfolio of machine learning algorithms and datasets. Our window-based models demonstrate superior generalization compared to traditional flow-based models, particularly when tested on unseen datasets. On these stringent, cross-dataset tests, IoTGeM achieves F1 scores of 99\% for ACK, HTTP, SYN, MHD, and PS attacks, as well as a 94\% F1 score for UDP attacks. Finally, we build confidence in the models by using the SHAP (SHapley Additive exPlanations) explainable AI technique, allowing us to identify the specific features that underlie the accurate detection of attacks.

研究动机与目标

• 解决现有基于行为的物联网入侵检测模型因数据泄露和过拟合而导致的泛化能力有限的问题。
• 通过使用隔离的训练/测试划分，开发一种可重现且稳健的物联网攻击检测方法，以防止数据泄露。
• 通过改进的滚动窗口特征提取方法和基于遗传算法的多步特征选择过程，提升检测性能。
• 通过可解释人工智能（SHAP）确保模型可解释性和置信度，以识别支撑攻击检测的关键特征。
• 通过在多个数据集、机器学习模型和评估指标上验证该框架，确保其可靠性与泛化能力。

提出的方法

• 实施一种新颖的滚动窗口方法进行特征提取，相较于传统方法，能更有效地捕捉时间序列网络行为。
• 采用基于遗传算法并引入外部反馈的多步特征选择过程，以消除冗余或易过拟合的特征。
• 严格使用隔离的训练和测试数据集，以防止数据泄露并确保模型的泛化能力。
• 在多样化的机器学习模型组合（如SVM、XGBoost、随机森林、逻辑回归）和评估指标上评估该框架。
• 采用SHAP（SHapley Additive exPlanations）解释模型决策，识别对攻击检测最具影响力的特征。
• 通过GitHub公开所有代码和数据集，以确保可重现性并支持社区验证。

Figure 2: The visualisation of steps in system implementation.

实验结果

研究问题

• RQ1 基于行为的物联网攻击检测机器学习模型是否能在未见数据集和攻击类型上实现高泛化能力？
• RQ2 所提出的滚动窗口特征提取方法相较于传统方法，在检测性能方面有何提升？
• RQ3 多步特征选择过程在多大程度上减少了过拟合并提升了模型鲁棒性？
• RQ4 哪些网络特征对特定物联网攻击最具预测性，其重要性如何进行定量评估？
• RQ5 可解释人工智能技术（SHAP）是否能有效识别并验证驱动准确攻击检测的关键特征？

主要发现

• 在PS（端口扫描）数据集上，使用逻辑回归的IoTGeM框架实现了0.994的F1得分，表明检测性能接近完美。
• 在SYN（SYN洪水）数据集上，XGBoost实现了0.969的F1得分，表明其在多种攻击类型间具有强大的泛化能力。
• 使用隔离的训练/测试划分显著降低了数据泄露风险，提升了模型的可靠性和泛化能力。
• SHAP分析表明，数据包频率、流持续时间以及协议特定异常等特征在多种攻击类型中均具有一致的预测能力。
• 多步特征选择过程减少了过拟合，表现为在不同模型和数据集上性能保持一致。
• 在所有评估数据集上，该框架在F1得分和AUC方面均优于基线方法，且性能指标的方差极小。

Figure 3: Use of data in this study. Train/CV=Training and cross-validation. HPO=Feature reduction and hyperparameter selection. Validation=Data validation and feature selection. S-n= Session n.