[论文解读] Combinatorial Optimization based Feature Selection Method: A study on Network Intrusion Detection

Anjum Nazir, Rizwan Ahmed Khan|arXiv (Cornell University)|Jun 11, 2019

Network Security and Intrusion Detection参考文献 36被引用 4

一句话总结

本文提出TS-RF，一种结合禁忌搜索（TS）元启发式算法与随机森林（RF）分类器的新型基于包装器的特征选择方法，旨在提升UNSW-NB15数据集上的网络入侵检测性能。通过将特征数量减少60%以上，该方法在降低计算复杂度的同时提高了检测准确率，展现出在识别未知及高级网络攻击方面的强大潜力。

ABSTRACT

Advancements in computer networks and communication technologies like software defined networks (SDN), Internet of things (IoT), microservices architecture, cloud computing and network function virtualization (NFV) have opened new fronts and challenges for security experts to combat against modern cyberattacks. Relying on perimeter defense and signature-based network security solutions like Intrusion Detection and Prevention Systems (IDS/IPS) have failed to deliver adequate level of security against new attack vectors such as advance persistent threats, zero days, ransomware, botnets and other forms of targeted attacks. Recent developments in machine learning and cognitive computing have shown great potential to detect unknown and new intrusion events where legacy misuse and anomaly based intrusion detection systems usually fail. In this research study we applied state of the art machine learning algorithms on UNSW-NB15 dataset for potential applicability to detect new attacks. We also proposed a novel wrapper based feature selection technique TS-RF using metaheuristic Tabu Search (TS) algorithm and Random Forest (RF) ensemble classifier. Results obtained by applying proposed feature selection technique i.e. TS-RF on UNSW-NB15 dataset show improvement in overall intrusion detection accuracy while it reduces computation complexity as it removes more than 60% features.

研究动机与目标

• 为解决传统基于签名和基于异常的入侵检测系统在检测零日攻击和高级持续性威胁（APTs）等高级威胁时的局限性。
• 利用机器学习在UNSW-NB15数据集中提升对未知及新兴网络威胁的检测准确率。
• 通过智能特征选择方法消除冗余和无关特征，降低入侵检测中的计算复杂度。
• 开发并评估一种新型基于包装器的特征选择技术，整合元启发式优化与集成学习。

提出的方法

• 所提出的TS-RF方法采用禁忌搜索（TS）元启发式算法，探索特征子集空间，识别最优的特征组合。
• 随机森林（RF）分类器在包装器框架中作为评估函数，为每个特征子集提供准确的性能估计。
• 通过TS迭代执行特征选择，维护禁忌列表以避免重复访问先前探索过的解，并逃离局部最优。
• 算法利用RF分类准确率评估每个候选特征子集，引导搜索朝向高性能且紧凑的特征集合。
• 该过程持续进行，直到满足停止准则，如最大迭代次数或解质量无进一步改善。
• 最终选定的特征子集用于训练RF模型，从而构建出更高效且准确的入侵检测系统。

实验结果

研究问题

• RQ1 与基线方法相比，混合元启发式-包装器方法是否能提升在UNSW-NB15数据集上的入侵检测准确率？
• RQ2 特征选择在不降低检测性能的前提下，能在多大程度上降低计算复杂度？
• RQ3 将禁忌搜索与随机森林结合，在识别入侵检测最优特征子集方面有多高效？
• RQ4 所提出的TS-RF方法是否能比传统IDS/IPS系统更有效地检测先前未见或零日攻击模式？

主要发现

• TS-RF方法在使用完整特征集的基线模型基础上，实现了更高的整体入侵检测准确率。
• 所提出的技术成功将特征数量减少60%以上，同时保持或提升了检测性能。
• 禁忌搜索的使用实现了对特征空间的有效探索，避免了陷入局部最优，并识别出高质量的特征子集。
• 将随机森林作为评估函数，显著提升了特征选择过程中性能估计的鲁棒性与可靠性。
• 该方法在检测未知及高级网络攻击（包括零日攻击和APT风格威胁）方面展现出强大潜力。
• 由于特征维度的大幅降低，入侵检测系统的计算复杂度显著减少。