[论文解读] An Explainable Machine Learning-based Network Intrusion Detection System for Enabling Generalisability in Securing IoT Networks.

Mohanad Sarhan, Siamak Layeghy+1 more|arXiv (Cornell University)|Apr 15, 2021

Network Security and Intrusion Detection参考文献 10被引用 16

一句话总结

本文提出了一种基于可解释机器学习（XAI）增强的网络入侵检测系统，采用NetFlow和CICFlowMeter特征集，在三个物联网数据集（CSE-CIC-IDS2018、BoT-IoT、ToN-IoT）上进行实验。结果表明，NetFlow特征可提升模型的泛化能力与检测准确率，而SHAP值则用于解释模型决策，增强了真实物联网安全部署中的信任度与可解释性。

ABSTRACT

Machine Learning (ML)-based network intrusion detection systems bring many benefits for enhancing the security posture of an organisation. Many systems have been designed and developed in the research community, often achieving a perfect detection rate when evaluated using certain datasets. However, the high number of academic research has not translated into practical deployments. There are a number of causes behind the lack of production usage. This paper tightens the gap by evaluating the generalisability of a common feature set to different network environments and attack types. Therefore, two feature sets (NetFlow and CICFlowMeter) have been evaluated across three datasets, i.e. CSE-CIC-IDS2018, BoT-IoT, and ToN-IoT. The results showed that the NetFlow feature set enhances the two ML models' detection accuracy in detecting intrusions across different datasets. In addition, due to the complexity of the learning models, the SHAP, an explainable AI methodology, has been adopted to explain and interpret the classification decisions of two ML models. The Shapley values of the features have been analysed across multiple datasets to determine the influence contributed by each feature towards the final ML prediction.

研究动机与目标

• 为解决学术界基于机器学习的入侵检测系统与真实物联网网络环境部署之间的差距。
• 评估通用特征集（NetFlow与CICFlowMeter）在不同物联网网络环境和攻击类型下的泛化能力。
• 利用SHAP提升模型可解释性，增强入侵检测决策的信任度与透明度。
• 评估各特征对模型预测的影响，覆盖多个数据集。

提出的方法

• 在三个不同的物联网入侵检测数据集（CSE-CIC-IDS2018、BoT-IoT、ToN-IoT）上评估两种特征提取方法——NetFlow与CICFlowMeter。
• 基于提取的特征训练两种机器学习模型，并在不同数据集上比较其检测准确率。
• 应用SHAP（SHapley Additive exPlanations）方法，通过计算特征重要性得分（Shapley值）来解释模型预测结果。
• 分析所有数据集中的SHAP值，确定各特征对最终分类决策的贡献程度。
• 采用跨数据集评估方法，衡量模型的泛化能力及对分布偏移的鲁棒性。
• 聚焦于特征级别的可解释性，以支持在生产环境中的实际部署。

实验结果

研究问题

• RQ1 NetFlow与CICFlowMeter特征集在不同物联网网络数据集上的检测准确率表现如何？
• RQ2 特征集的选择在多大程度上影响了基于机器学习的入侵检测模型在多样化物联网环境中的泛化能力？
• RQ3 通过SHAP分析，哪些特征对模型分类决策的贡献最为显著？
• RQ4 基于SHAP的可解释性是否能够提升基于机器学习的IDS在真实物联网网络中的可信度与可部署性？

主要发现

• 与CICFlowMeter相比，NetFlow特征集在所有三个评估数据集（CSE-CIC-IDS2018、BoT-IoT、ToN-IoT）上均表现出更高的检测准确率。
• 基于NetFlow特征训练的模型展现出更强的泛化能力，表明其在不同网络条件和攻击类型下具有更高的鲁棒性。
• SHAP分析显示，特定的流级特征（如持续时间、字节计数、数据包计数）对模型预测的影响最大。
• SHAP提供的可解释性增强了模型的透明度，支持其在实际物联网安全系统中的潜在部署。
• 本研究证实，特征集的选择在跨数据集评估中显著影响模型性能与泛化能力。
• NetFlow特征与SHAP可解释性的结合，为实现实用、可信的物联网网络中基于机器学习的入侵检测提供了有前景的路径。