[论文解读] A Dependable Hybrid Machine Learning Model for Network Intrusion Detection

Md. Alamin Talukder, Khondokar Fida Hasan+6 more|arXiv (Cornell University)|Dec 8, 2022

Network Security and Intrusion Detection被引用 23

一句话总结

本论文提出一个可靠的混合 IDS，将 SMOTE 数据平衡与 XGBoost 特征选择结合 ML/DL 分类器，在 KDDCUP’99 与 CIC-MalMem-2022 数据集上实现高准确率，报告在 KDDCUP’99 上最高可达 99.99%，CIC-MalMem-2022 上达到 100%，且没有过拟合。

ABSTRACT

Network intrusion detection systems (NIDSs) play an important role in computer network security. There are several detection mechanisms where anomaly-based automated detection outperforms others significantly. Amid the sophistication and growing number of attacks, dealing with large amounts of data is a recognized issue in the development of anomaly-based NIDS. However, do current models meet the needs of today's networks in terms of required accuracy and dependability? In this research, we propose a new hybrid model that combines machine learning and deep learning to increase detection rates while securing dependability. Our proposed method ensures efficient pre-processing by combining SMOTE for data balancing and XGBoost for feature selection. We compared our developed method to various machine learning and deep learning algorithms to find a more efficient algorithm to implement in the pipeline. Furthermore, we chose the most effective model for network intrusion based on a set of benchmarked performance analysis criteria. Our method produces excellent results when tested on two datasets, KDDCUP'99 and CIC-MalMem-2022, with an accuracy of 99.99% and 100% for KDDCUP'99 and CIC-MalMem-2022, respectively, and no overfitting or Type-1 and Type-2 issues.

研究动机与目标

• 解决入侵检测数据集中的数据不平衡问题，并评估其对除准确率以外的性能指标的影响（例如精确率、召回率、F1、混淆矩阵）。
• 通过将数据平衡、特征选择和降维结合，开发一个可依赖的 IDS 流水线，以提升检测效率和泛化能力。
• 在混合 ML/DL 框架中找出在二分类和多标签入侵检测任务中最有效的分类器。
• 展示关注准确性、可用性和可扩展性的依赖性分析，以评估所提出模型的可靠性。

提出的方法

• 对不平衡的入侵检测数据集应用 SMOTE 进行平衡。
• 使用 XGBoost 进行嵌入式特征选择，在保持重要特征的同时降低维数。
• 使用选定的特征子集训练并比较多种分类器（RF、DT、KNN、MLP、CNN、ANN）。
• 使用包括准确性、精确率、召回率、F1-score、AUC、ROC、MAE、MSE、RMSE、混淆矩阵等指标评估性能，以评估一类和二类错误。
• 通过与准确性、可用性和可扩展性相关的指标分析依赖性。

实验结果

研究问题

• RQ1 SMOTE 平衡结合 XGBoost 特征选择是否能在不平衡数据集上提升入侵检测性能并减少过拟合？
• RQ2 在所提出的混合流水线中，哪种 ML/DL 分类器在二分类和多标签入侵检测任务中实现最佳性能？
• RQ3 混合模型在 KDDCUP’99 和 CIC-MalMem-2022 数据集上是否在保持高准确性的同时最小化一类和二类错误？
• RQ4 通过 XGBoost 的降维如何影响训练效率和整体检测性能？

主要发现

• 混合模型在 KDDCUP’99 上达到非常高的准确率（99.99%）和在 CIC-MalMem-2022 上达到（100%）。
• SMOTE 能有效平衡数据集，从而在不损失准确性的前提下提升精确率、召回率和 F1。
• 基于 XGBoost 的特征选择在降低维度的同时，能够在多种 ML/DL 分类器中实现高性能。
• 在测试的分类器（RF、DT、KNN、MLP、CNN、ANN）中，所提出的流水线在准确性方面表现较高且过拟合风险低，且具有利于的一类/二类错误特征。
• 与所述情境中的最新模型相比，该方法在准确性、可用性和可扩展性方面展现出依赖性。