[论文解读] Identifying Relevant Features of CSE-CIC-IDS2018 Dataset for the Development of an Intrusion Detection System

László Göcs, Zsolt Csaba Johanyák|arXiv (Cornell University)|Jul 21, 2023

Network Security and Intrusion DetectionComputer Science被引用 3

一句话总结

本文针对CSE-CIC-IDS2018数据集提出了一套系统化的特征选择流程，以优化入侵检测系统（IDS）的性能。通过应用六种特征选择方法并对其得分取平均，作者识别出五类攻击类型（FTP、SSH、WEB、XSS、SQL注入）的最小且高影响力的特征子集，使用随机森林和树基分类器时，仅需7个特征即可实现高达1.00000的准确率。

ABSTRACT

Intrusion detection systems (IDSs) are essential elements of IT systems. Their key component is a classification module that continuously evaluates some features of the network traffic and identifies possible threats. Its efficiency is greatly affected by the right selection of the features to be monitored. Therefore, the identification of a minimal set of features that are necessary to safely distinguish malicious traffic from benign traffic is indispensable in the course of the development of an IDS. This paper presents the preprocessing and feature selection workflow as well as its results in the case of the CSE-CIC-IDS2018 on AWS dataset, focusing on five attack types. To identify the relevant features, six feature selection methods were applied, and the final ranking of the features was elaborated based on their average score. Next, several subsets of the features were formed based on different ranking threshold values, and each subset was tried with five classification algorithms to determine the optimal feature set for each attack type. During the evaluation, four widely used metrics were taken into consideration.

研究动机与目标

• 从CSE-CIC-IDS2018数据集中识别出最小且相关的特征集合，以实现高准确率的入侵检测。
• 评估不同特征选择方法及排序阈值对分类性能的影响。
• 确定五类攻击类型（FTP、SSH、WEB、XSS、SQL注入）的最优特征子集与分类器组合。
• 评估精简后的特征集是否能保持或提升相比全维输入的检测准确率。
• 为基于异常的IDS开发提供可复用、数据驱动的特征选择工作流程。

提出的方法

• 在预处理后的CSE-CIC-IDS2018数据上应用六种特征选择方法——信息增益、卡方检验、相关性、ReliefF、递归特征消除和ANOVA F检验。
• 对每种方法的个体特征得分进行归一化，并计算平均得分以跨所有技术对特征进行排序。
• 设定六个排序阈值，生成多个特征子集，每类攻击的特征数量从1到44不等。
• 使用Orange软件在每个特征子集上训练五种分类器——逻辑回归、随机森林、决策树、支持向量机和朴素贝叶斯。
• 使用四个指标（准确率、精确率、召回率和F1-score）在训练集和测试集上评估模型性能。
• 根据最高F1得分和整体性能稳定性，为每类攻击选择最佳模型与特征集组合。

Figure 1: Dataset preprocessing workflow

实验结果

研究问题

• RQ1 CSE-CIC-IDS2018数据集中，哪些特征对检测特定攻击类型（FTP、SSH、WEB、XSS、SQL注入）最为相关？

主要发现

• 对于FTP攻击，使用排序阈值0.35选取的8个特征子集，在随机森林分类器下实现了100%的准确率、精确率、召回率和F1得分。
• 对于SSH攻击，使用阈值0.35的7个特征子集在随机森林下达到99.999%的准确率，表现出近乎完美的检测能力。
• WEB攻击需要44个特征（阈值0.35）才能实现99.994%的准确率，其中树基分类器表现最佳。
• 对于XSS攻击，使用阈值0.45的10个特征子集在随机森林下实现99.999%的准确率，优于其他模型。
• SQL注入检测在使用阈值0.40的26个特征子集和树分类器下达到99.999%的准确率，F1得分为0.97647。
• 树基分类器和随机森林在所有攻击类型中均持续优于其他分类器，尤其在特征集缩减时表现更优。

Figure 2: Feature selection workflow