[论文解读] 1D CNN Based Network Intrusion Detection with Normalization on Imbalanced Data

Azizjon Meliboev, Jumabek Alikhanov+1 more|arXiv (Cornell University)|Mar 1, 2020

Network Security and Intrusion Detection参考文献 17被引用 5

一句话总结

本文提出了一种基于1D-CNN的入侵检测系统，将序列化的TCP/IP数据包作为时间序列数据处理，以检测网络入侵。在UNSW-NB15数据集上，该方法在数据不平衡条件下优于传统的机器学习模型（如随机森林和SVM），得益于其从网络流量模式中提取的分层特征学习能力。

ABSTRACT

Intrusion detection system (IDS) plays an essential role in computer networks protecting computing resources and data from outside attacks. Recent IDS faces challenges improving flexibility and efficiency of the IDS for unexpected and unpredictable attacks. Deep neural network (DNN) is considered popularly for complex systems to abstract features and learn as a machine learning technique. In this paper, we propose a deep learning approach for developing the efficient and flexible IDS using one-dimensional Convolutional Neural Network (1D-CNN). Two-dimensional CNN methods have shown remarkable performance in detecting objects of images in computer vision area. Meanwhile, the 1D-CNN can be used for supervised learning on time-series data. We establish a machine learning model based on the 1D-CNN by serializing Transmission Control Protocol/Internet Protocol (TCP/IP) packets in a predetermined time range as an invasion Internet traffic model for the IDS, where normal and abnormal network traffics are categorized and labeled for supervised learning in the 1D-CNN. We evaluated our model on UNSW\_NB15 IDS dataset to show the effectiveness of our method. For comparison study in performance, machine learning-based Random Forest (RF) and Support Vector Machine (SVM) models in addition to the 1D-CNN with various network parameters and architecture are exploited. In each experiment, the models are run up to 200 epochs with a learning rate in 0.0001 on imbalanced and balanced data. 1D-CNN and its variant architectures have outperformed compared to the classical machine learning classifiers. This is mainly due to the reason that CNN has the capability to extract high-level feature representations that represent the abstract form of low-level feature sets of network traffic connections.

研究动机与目标

• 解决在实时网络流量中检测不可预测且不断演变的网络攻击的挑战。
• 利用深度学习提升入侵检测系统（IDS）的灵活性与效率。
• 克服传统机器学习模型在处理不平衡网络流量数据时的局限性。
• 开发一种专为时间序列网络数据包序列设计的1D-CNN架构，以提取高层次特征。
• 在平衡与不平衡数据条件下，对比评估该模型与经典分类器（SVM、RF）的性能表现。

提出的方法

• 通过在固定时间窗口内对原始TCP/IP数据包进行序列化，将其转换为时间序列序列，作为1D-CNN的输入数据。
• 应用归一化技术，以减轻UNSW-NB15数据集中类别不平衡对训练的影响。
• 在不平衡和平衡的数据划分上，使用固定学习率0.0001训练1D-CNN模型，最多200个周期。
• 基于UNSW-NB15数据集中的标注数据，采用监督学习将网络流量分类为正常或异常。
• 采用相同的训练与评估协议，将1D-CNN与传统模型（SVM、随机森林）进行对比。
• 利用1D-CNN的分层特征提取能力，从低层次网络流量特征中学习抽象表示。

实验结果

研究问题

• RQ1 1D-CNN模型能否通过将序列化的TCP/IP数据包视为时间序列数据，有效检测网络入侵？
• RQ2 归一化技术如何提升深度学习模型在不平衡网络入侵检测数据集上的性能？
• RQ3 1D-CNN在入侵检测任务中，相较于SVM和随机森林等经典机器学习模型，其性能优势在多大程度上体现？
• RQ4 不同的1D-CNN架构与超参数对UNSW-NB15数据集上检测准确率的影响如何？
• RQ5 1D-CNN的分层特征学习能力是否能提升其在复杂多样的网络流量模式上的泛化能力？

主要发现

• 在相同的训练条件下，1D-CNN模型在UNSW-NB15数据集上的性能优于SVM和随机森林。
• 归一化技术显著提升了模型在不平衡数据上的鲁棒性，增强了对少数类（异常）流量的检测能力。
• 1D-CNN在从低层次网络流量特征中提取高层次特征表示方面表现出强大能力，有助于更好地抽象入侵模式。
• 该模型在平衡与不平衡数据设置下均保持了高性能，表明其对数据分布变化具有较强的适应能力。
• 1D-CNN的多种变体优于基线模型，证实了深度卷积架构在入侵检测中的有效性。
• 通过将网络数据包序列化实现的时间序列建模，有效支持了时间模式识别，这对检测具有时序特性的攻击行为至关重要。