[论文解读] An ensemble approach for feature selection of Cyber Attack Dataset

Shailendra Singh, Sanjay Silakari|ArXiv.org|Dec 5, 2009

Network Security and Intrusion Detection参考文献 7被引用 23

一句话总结

本文提出了一种混合集成特征选择方法，结合过滤法与包装法，以提升在DARPA KDDCUP99数据集上的网络攻击检测性能。该方法使用信息增益进行初始特征排序，并引导包装法搜索以识别最优特征子集，在KNN分类器上实现了高分类准确率，相较于传统方法表现出更优性能。

ABSTRACT

Feature selection is an indispensable preprocessing step when mining huge datasets that can significantly improve the overall system performance. Therefore in this paper we focus on a hybrid approach of feature selection. This method falls into two phases. The filter phase select the features with highest information gain and guides the initialization of search process for wrapper phase whose output the final feature subset. The final feature subsets are passed through the Knearest neighbor classifier for classification of attacks. The effectiveness of this algorithm is demonstrated on DARPA KDDCUP99 cyber attack dataset.

研究动机与目标

• 通过减少无关和冗余特征，解决高维、噪声较大的网络攻击数据集带来的挑战。
• 通过有效的特征子集选择，提升入侵检测系统的分类性能。
• 开发一种混合特征选择方法，充分利用过滤法与包装法的优势。
• 在标准的DARPA KDDCUP99基准数据集上评估所提出的方法。
• 证明集成方法在提升KNN分类器在攻击分类任务中性能方面的有效性。

提出的方法

• 该方法采用两阶段策略：第一阶段使用信息增益进行过滤，对特征进行排序并选择初始特征。
• 第二阶段包装法使用由过滤阶段输出结果引导的搜索算法，以识别最优特征子集。
• 最终选定的特征子集通过K近邻（KNN）分类器进行攻击分类评估。
• 为每个特征计算信息增益，以评估其与目标类别（攻击类型）的相关性。
• 包装阶段执行顺序前向或后向搜索，基于分类准确率对特征子集进行优化。
• 通过使用过滤法选出的特征初始化搜索过程，实现计算效率与分类性能之间的平衡。

实验结果

研究问题

• RQ1 混合过滤-包装方法如何提升在网络安全攻击数据集上的特征选择性能？
• RQ2 在初始特征排序中使用信息增益对最终分类准确率有何影响？
• RQ3 过滤法与包装法的结合能否减少过拟合并提升入侵检测中的泛化能力？
• RQ4 与独立使用过滤法或包装法相比，该方法在准确率和特征集大小方面表现如何？
• RQ5 当使用集成方法选出的最终特征子集训练时，KNN分类器的性能如何？

主要发现

• 所提出的混合方法在KDDCUP99数据集上相较于单独使用过滤法或包装法，实现了更高的分类准确率。
• 在过滤阶段使用信息增益显著提升了初始特征集的质量，从而加快了包装阶段的收敛速度。
• 集成方法选出的最终特征子集在降低维度的同时保持了较高的预测性能。
• 当在优化后的特征子集上训练时，KNN分类器的准确率得到提升，证明了该方法的有效性。
• 结果表明，结合过滤法与包装法可实现更鲁棒且高效的特征选择过程，适用于入侵检测。
• 该方法有效减少了数据集中的噪声与冗余，提升了模型的泛化能力与可解释性。