[论文解读] Evaluating Standard Feature Sets Towards Increased Generalisability and Explainability of ML-based Network Intrusion Detection

Mohanad Sarhan, Siamak Layeghy+1 more|arXiv (Cornell University)|Apr 15, 2021

Network Security and Intrusion Detection被引用 4

一句话总结

本论文通过在三个基准数据集（CSE-CIC-IDS2018、ToN-IoT、BoT-IoT）上对比NetFlow与CICFlowMeter特征集，评估了基于机器学习的网络入侵检测系统的泛化能力与可解释性。采用随机森林（Random Forest）与深度前馈网络（Deep Feed-Forward）分类器，结果表明NetFlow特征在检测准确率与推理速度方面均持续优于CICFlowMeter；同时，SHAP分析显示，正向方向特征与IAT相关特征在所有数据集中对攻击检测具有最大影响力。

ABSTRACT

Machine Learning (ML)-based network intrusion detection systems bring many benefits for enhancing the cybersecurity posture of an organisation. Many systems have been designed and developed in the research community, often achieving a close to perfect detection rate when evaluated using synthetic datasets. However, the high number of academic research has not often translated into practical deployments. There are several causes contributing towards the wide gap between research and production, such as the limited ability of comprehensive evaluation of ML models and lack of understanding of internal ML operations. This paper tightens the gap by evaluating the generalisability of a common feature set to different network environments and attack scenarios. Therefore, two feature sets (NetFlow and CICFlowMeter) have been evaluated in terms of detection accuracy across three key datasets, i.e., CSE-CIC-IDS2018, BoT-IoT, and ToN-IoT. The results show the superiority of the NetFlow feature set in enhancing the ML models detection accuracy of various network attacks. In addition, due to the complexity of the learning models, SHapley Additive exPlanations (SHAP), an explainable AI methodology, has been adopted to explain and interpret the classification decisions of ML models. The Shapley values of two common feature sets have been analysed across multiple datasets to determine the influence contributed by each feature towards the final ML prediction.

研究动机与目标

• 为弥合学术研究与基于机器学习的网络入侵检测系统（NIDS）在真实环境中的实际部署之间的差距。
• 评估标准特征集（NetFlow与CICFlowMeter）在多样化网络环境与攻击场景下的泛化能力。
• 通过应用Shapley加法解释（SHapley Additive exPlanations, SHAP）提升模型可解释性，以解释机器学习预测中各特征的贡献。
• 生成并发布两个新的CICFlowMeter格式数据集（CIC-BoT-IoT与CIC-ToN-IoT），以支持标准化的跨数据集评估。

提出的方法

• 通过将ToN-IoT与BoT-IoT数据集转换为CICFlowMeter特征格式，构建了两个新数据集（CIC-BoT-IoT与CIC-ToN-IoT），以实现一致的评估。
• 在所有三个数据集中，分别使用两种机器学习模型——随机森林（RF）与深度前馈网络（DFF）——基于NetFlow与CICFlowMeter特征集对网络流量进行分类。
• 采用Shapley加法解释（SHAP）计算特征重要性，其中DFF使用KernelSHAP，RF使用TreeSHAP，以解释模型决策过程。
• 对测试样本的平均SHAP值进行归一化，并可视化特征影响力排名，以比较不同数据集与模型之间的特征影响差异。
• 评估检测准确率与推理时间，以衡量不同特征集下模型的性能与效率。
• 将所有数据集与特征集公开发布，以支持基于机器学习的NIDS的可复现性与跨数据集基准测试。

Figure 1 : Dataset Generation Process

实验结果

研究问题

• RQ1 在多样化网络环境与攻击类型下，NetFlow特征集是否比CICFlowMeter特征集具有更好的泛化能力？
• RQ2 在不同机器学习模型（RF与DFF）下，使用NetFlow与CICFlowMeter时，检测准确率与推理时间的对比如何？
• RQ3 通过SHAP分析，哪些网络特征在多个数据集中对机器学习模型预测的贡献最为显著？
• RQ4 特征重要性排名在不同数据集之间变化程度如何？在不同攻击场景下是否存在一致的高影响力特征？

主要发现

• 在CSE-CIC-IDS2018、ToN-IoT与BoT-IoT三个数据集中，NetFlow特征集在RF与DFF分类器下均实现了比CICFlowMeter更高的检测准确率。
• 基于NetFlow的模型表现出更低的预测时间，表明其在实时部署场景中更具效率。
• 在CICFlowMeter格式的CIC-BoT-IoT数据集中，正向方向特征（如'Fwd IAT Min'、'Fwd IAT Mean'）在RF与DFF模型中均位列前五名最具影响力的特征。
• 对于CICFlowMeter格式，RF分类器最受正向方向特征与IAT相关特征的影响；而NetFlow特征在不同模型间表现出更强的一致性。
• NetFlow特征在RF与DFF模型中均拥有五个共同的前10大影响力特征，而CICFlowMeter仅拥有两个，表明NetFlow特征具有更高的稳定性和泛化能力。
• SHAP分析揭示了不同数据集中特征重要性的显著差异，表明特征影响力高度依赖于具体存在的攻击类型与良性流量模式。

(a) RF