[论文解读] Attack vs Benign Network Intrusion Traffic Classification

M. Andrecut|arXiv (Cornell University)|May 15, 2022

Network Security and Intrusion Detection被引用 6

一句话总结

本论文表明，一种简单的k近邻（k-NN）分类器在CSE-CIC-IDS2018数据集上的入侵检测任务中实现了接近最先进水平的性能，其准确率、F1值和召回率与复杂的深度学习模型相当或更优，尤其在数据不平衡的情况下表现突出，且无需模型训练、超参数调优或存在过拟合风险。

ABSTRACT

Intrusion detection systems (IDS) are used to monitor networks or systems for attack activity or policy violations. Such a system should be able to successfully identify anomalous deviations from normal traffic behavior. Here we discuss the machine learning approach to building an anomaly-based IDS using the CSE-CIC-IDS2018 dataset. Since the publication of this dataset a relatively large number of papers have been published, most of them presenting IDS architectures and results based on complex machine learning methods, like deep neural networks, gradient boosting classifiers, or hidden Markov models. Here we show that similar results can be obtained using a very simple nearest neighbor classification approach, avoiding the inherent complications of training such complex models. The advantages of the nearest neighbor algorithm are: (1) it is very simple to implement; (2) it is extremely robust; (3) it has no parameters, and therefore it cannot overfit the data. This result also shows that currently there is a trend of developing over-engineered solutions in the machine learning community. Such solutions are based on complex methods, like deep learning neural networks, without even considering baseline solutions corresponding to simple, but efficient methods.

研究动机与目标

• 评估简单、非参数化的机器学习方法是否能在CSE-CIC-IDS2018数据集上实现与复杂深度学习模型相当的入侵检测性能。
• 通过证明基线方法如k-NN已足够且更具鲁棒性，挑战机器学习领域过度工程化的趋势。
• 强调深度学习模型在网络安全入侵检测中存在过拟合风险和过高的计算成本。
• 提供一种最小化、无参数的替代方案，以替代复杂模型，避免训练和超参数调优。
• 展示最近邻方法在高度不平衡数据（如03-01-2018.csv文件）上仍能保持强劲性能，而深度学习模型在此类数据上表现欠佳。

提出的方法

• 本研究采用k近邻（k-NN）分类方法，利用点积相似度计算每个测试样本与训练样本的最近邻。
• 对于每个测试样本，算法计算其与所有训练样本向量的点积，选择相似度最高的训练样本作为预测类别。
• 采用5折交叉验证，将每个数据文件划分为五个相等部分，每轮在80%的数据上训练、20%的数据上测试，最终平均各项性能指标。
• 在分类前对数据进行归一化处理，以确保特征尺度一致，并移除时间戳和缺失值列。
• 使用标准指标（准确率、精确率、召回率和F1值）评估性能，并在所有5折迭代中取平均值。
• 该方法无需模型训练、无需超参数调优，且由于无可学习参数，不存在过拟合风险。

实验结果

研究问题

• RQ1 简单的非参数最近邻分类器是否能在CSE-CIC-IDS2018入侵检测数据集上实现与复杂深度学习模型相当的性能？
• RQ2 k-NN由于无需模型训练和超参数调优，是否相比深度学习方法展现出更好的泛化能力和鲁棒性？
• RQ3 k-NN在高度不平衡数据（如03-01-2018.csv文件）上的表现如何，该文件中良性流量与攻击流量模式高度相似？
• RQ4 为何深度学习模型在某些数据文件上报告高准确率但F1值和召回率较低？k-NN是否能缓解此问题？
• RQ5 考虑到简单替代方案表现出色，当前入侵检测领域对复杂深度学习模型的依赖在多大程度上是合理的？

主要发现

• k-NN分类器在所有数据文件上实现了98.58%的整体准确率和96.67%的F1值，表明其在CSE-CIC-IDS2018数据集上具有强大的泛化能力。
• 在大多数数据文件（包括02-14-2018.csv和03-02-2018.csv）上，k-NN实现了近乎完美的准确率（0.9999）和F1值（0.9999），在F1值和召回率上均优于深度学习模型。
• 在03-01-2018.csv文件上——深度学习模型报告的F1值仅为0.34–0.49——k-NN实现了0.4227的召回率和0.4564的F1值，显著优于表现最佳的深度学习模型（F1值0.4852），在该挑战性场景中表现更优。
• k-NN在02-14-2018.csv和02-16-2018.csv文件上实现了100%的召回率，表明其能有效检测出这些文件中的所有攻击实例。
• k-NN方法无需任何训练时间或超参数调优，而深度学习模型则需超过13.5天的训练时间，凸显其计算效率优势。
• 结果表明，深度学习模型可能在03-01-2018.csv数据上存在过拟合现象，因为尽管其报告的准确率更高，但F1值和召回率显著低于k-NN的性能。