[论文解读] Building an Effective Intrusion Detection System using Unsupervised Feature Selection in Multi-objective Optimization Framework

Chanchal Suman, Somanath Tripathy+1 more|arXiv (Cornell University)|May 16, 2019

Network Security and Intrusion Detection参考文献 27被引用 7

一句话总结

本文提出了一种基于 NSGA-II 的无监督多目标特征选择框架，用于入侵检测系统（IDS），同时优化互信息、标准差和信息增益。该方法在 KDD-99 数据集上实现了 99.78% 的准确率、99.27% 的检测率，且仅 0.2% 的误报率，超越了先前最先进的结果，且在特征选择过程中未使用标注数据。

ABSTRACT

Intrusion Detection Systems (IDS) are developed to protect the network by detecting the attack. The current paper proposes an unsupervised feature selection technique for analyzing the network data. The search capability of the non-dominated sorting genetic algorithm (NSGA-II) has been employed for optimizing three different objective functions utilizing different information theoretic measures including mutual information, standard deviation, and information gain to identify mutually exclusive and a high variant subset of features. Finally, the Pareto optimal front of the different optimal feature subsets are obtained and these feature subsets are utilized for developing classification systems using different popular machine learning models like support vector machines, decision trees and k-nearest neighbour (k=5) classifier etc. We have evaluated the results of the algorithm on KDD-99, NSL-KDD and Kyoto 2006+ datasets. The experimental results on KDD-99 dataset show that decision tree provides better results than other available classifiers. The proposed system obtains the best results of 99.78% accuracy, 99.27% detection rate and false alarm rate of 0.2%, which are better than all the previous results for KDD dataset. We achieved an accuracy of 99.83% for 20% testing data of NSL-KDD dataset and 99.65% accuracy for 10-fold cross-validation on Kyoto dataset. The most attractive characteristic of the proposed scheme is that during the selection of appropriate feature subset, no labeled information is utilized and different feature quality measures are optimized simultaneously using the multi-objective optimization framework.

研究动机与目标

• 开发一种无监督的 IDS 特征选择方法，使其在特征子集选择过程中不依赖于标注数据。
• 同时优化多个特征质量度量——互信息、标准差和信息增益——以提升相关性并降低冗余性。
• 通过选择最小但高度信息丰富的特征子集，降低计算复杂度并提高分类准确率。
• 在标准 IDS 基准数据集 KDD-99、NSL-KDD 和 Kyoto 2006+ 上评估该框架。
• 证明该方法在性能上优于现有的监督式和单目标特征选择方法。

提出的方法

• 采用非支配排序遗传算法 II（NSGA-II）对三种特征质量度量——互信息、标准差和信息增益——进行多目标优化。
• 利用信息论度量识别具有高相关性且冗余度低的特征，同时偏好在样本间具有高方差的特征。
• 通过进化搜索生成特征子集的帕累托最优前沿，确保在多个目标之间的权衡得到平衡。
• 将所选特征子集应用于多种机器学习分类器（包括决策树、SVM 和 k-NN（k=5））进行最终分类。
• 在 KDD-99、NSL-KDD 和 Kyoto 2006+ 数据集上，采用 10 折交叉验证和标准测试集划分进行评估。
• 该框架完全无监督——特征选择过程中不使用类别标签，仅在性能评估时使用。

实验结果

研究问题

• RQ1 多目标优化框架是否能在不使用标注数据的情况下提升 IDS 中的特征子集选择效果？
• RQ2 相关性、方差和冗余性的综合度量如何影响 IDS 分类准确率？
• RQ3 所提出的无监督特征选择方法是否在标准 IDS 基准上优于现有的监督式和单目标方法？
• RQ4 入侵检测中特征子集大小与分类性能之间的最优平衡是什么？
• RQ5 能否有效利用特征子集的帕累托最优前沿，以在多种分类器上实现高检测准确率？

主要发现

• 所提方法在 KDD-99 数据集上实现了 99.78% 的准确率、99.27% 的检测率，且仅 0.2% 的误报率，超越了该数据集上所有先前报告的结果。
• 在 NSL-KDD 数据集上，系统在 20% 测试集上达到 99.83% 的准确率，在正常、DoS、Probe、U2R 和 R2L 类别上实现 99.57% 至 99.92% 的各类准确率。
• 在 Kyoto 2006+ 数据集上，该方法在 10 折交叉验证下实现 99.65% 的准确率，表明其在不同数据集间具有强大的泛化能力。
• 最优特征子集包含 11 至 23 个特征，平均为 20 个特征，与 KDD-99 原始的 41 个特征相比，显著降低了维度。
• 在 KDD-99 数据集上，决策树分类器在所有测试模型（SVM、k-NN 等）中表现最佳，实现了最高的准确率和检测率。
• 即使与使用标注数据或完整特征集的先进方法（如基于 LSTM 的模型和蚁群优化）相比，该方法仍表现出更优的性能。