[论文解读] Deep Neural Networks based Meta-Learning for Network Intrusion Detection

Anabia Sohail, Bibi Ayisha+4 more|arXiv (Cornell University)|Feb 18, 2023

Network Security and Intrusion Detection被引用 5

一句话总结

该论文提出 INFUSE，一种用于网络入侵检测的深度元学习框架，通过稀疏自编码器和集成元学习器融合决策空间与特征空间。在 Test+ 数据集上，其 F1 分数达到 0.91，准确率为 91.6%，召回率为 0.94，展现出在数据分布不平衡且动态变化的网络流量数据中对新型和罕见攻击类型具有出色的泛化能力。

ABSTRACT

The digitization of different components of industry and inter-connectivity among indigenous networks have increased the risk of network attacks. Designing an intrusion detection system to ensure security of the industrial ecosystem is difficult as network traffic encompasses various attack types, including new and evolving ones with minor changes. The data used to construct a predictive model for computer networks has a skewed class distribution and limited representation of attack types, which differ from real network traffic. These limitations result in dataset shift, negatively impacting the machine learning models' predictive abilities and reducing the detection rate against novel attacks. To address the challenges, we propose a novel deep neural network based Meta-Learning framework; INformation FUsion and Stacking Ensemble (INFUSE) for network intrusion detection. First, a hybrid feature space is created by integrating decision and feature spaces. Five different classifiers are utilized to generate a pool of decision spaces. The feature space is then enriched through a deep sparse autoencoder that learns the semantic relationships between attacks. Finally, the deep Meta-Learner acts as an ensemble combiner to analyze the hybrid feature space and make a final decision. Our evaluation on stringent benchmark datasets and comparison to existing techniques showed the effectiveness of INFUSE with an F-Score of 0.91, Accuracy of 91.6%, and Recall of 0.94 on the Test+ dataset, and an F-Score of 0.91, Accuracy of 85.6%, and Recall of 0.87 on the stringent Test-21 dataset. These promising results indicate the strong generalization capability and the potential to detect network attacks.

研究动机与目标

• 解决由于攻击分布偏斜且不断演化所导致的网络入侵检测中的数据集分布偏移与类别不平衡问题。
• 提升对训练数据中代表性不足的罕见和新型攻击类型检测性能。
• 通过整合多种分类器并学习语义攻击表征，增强模型的泛化能力。
• 开发一种元学习框架，有效融合多种决策空间与特征空间。
• 在现实、不平衡条件下，于严格的标准基准数据集上评估该框架。

提出的方法

• 通过结合五种不同基础分类器的决策输出与学习到的特征表示，构建混合特征空间。
• 采用深度稀疏自编码器从特征空间中提取攻击类型之间的语义关系。
• 使用深度神经网络作为元学习器，对混合特征空间中的预测结果进行集成，以实现最终决策。
• 在融合表示上训练元学习器，以提升对未见攻击模式的鲁棒性与泛化能力。
• 整合特征级融合与决策级融合，以增强表征学习与预测性能。
• 端到端地将该框架应用于基准数据集，评估在现实世界数据分布偏移下的检测性能。

实验结果

研究问题

• RQ1 元学习框架是否能提升在不平衡数据集中对新型和罕见网络攻击的检测能力？
• RQ2 混合特征空间与决策空间融合在提升入侵检测模型泛化能力方面有多有效？
• RQ3 稀疏自编码器在提升攻击类型语义表征学习方面能发挥多大作用？
• RQ4 深度元学习器在处理数据集分布偏移与类别不平衡方面是否优于传统集成方法？
• RQ5 所提出的 INFUSE 框架在严格、接近真实世界的基准数据集上表现如何？

主要发现

• INFUSE 在 Test+ 数据集上实现了 0.91 的 F1 分数、91.6% 的准确率和 0.94 的召回率，表明其在罕见和新型攻击检测方面表现强劲。
• 在更具挑战性的 Test-21 数据集上，该框架仍保持高水平性能，F1 分数为 0.91，准确率为 85.6%，召回率为 0.87。
• 决策空间与特征空间的融合显著提升了检测的鲁棒性，优于单一分类器。
• 稀疏自编码器有效捕捉了攻击类型之间的语义关系，增强了表征学习能力。
• 深度元学习器展现出卓越的泛化能力，尤其在新攻击变体数据稀缺的场景下表现更优。
• 在现实、不平衡数据条件下，该框架在基准数据集上的表现优于现有技术。