[论文解读] Network Intrusion Detection based on LSTM and Feature Embedding

Hyeokmin Gwon, Chungjun Lee+2 more|arXiv (Cornell University)|Nov 26, 2019

Network Security and Intrusion Detection参考文献 26被引用 25

一句话总结

本文提出了一种基于深度学习的网络入侵检测系统，采用长短期记忆（LSTM）网络来建模网络流量序列中的时序依赖性，并使用特征嵌入来编码分类网络特征。该方法在UNSW-NB15数据集上实现了99.72%的二分类准确率，显著优于传统机器学习模型，通过有效捕捉序列模式和符号特征语义实现了性能提升。

ABSTRACT

Growing number of network devices and services have led to increasing demand for protective measures as hackers launch attacks to paralyze or steal information from victim systems. Intrusion Detection System (IDS) is one of the essential elements of network perimeter security which detects the attacks by inspecting network traffic packets or operating system logs. While existing works demonstrated effectiveness of various machine learning techniques, only few of them utilized the time-series information of network traffic data. Also, categorical information has not been included in neural network based approaches. In this paper, we propose network intrusion detection models based on sequential information using long short-term memory (LSTM) network and categorical information using the embedding technique. We have experimented the models with UNSW-NB15, which is a comprehensive network traffic dataset. The experiment results confirm that the proposed method improve the performance, observing binary classification accuracy of 99.72\%.

研究动机与目标

• 为解决现有基于机器学习的入侵检测系统在利用时序序列和分类网络特征方面的局限性。
• 通过集成LSTM网络来对网络流量中的序列模式进行建模，以提高检测准确率。
• 引入特征嵌入技术，以有效表示神经网络模型中的分类网络特征（如协议类型和服务）。
• 在UNSW-NB15数据集上评估所提出的模型，该数据集是网络入侵检测的现代基准。
• 证明结合LSTM与特征嵌入相较于独立模型或传统机器学习方法可实现更优性能。

提出的方法

• 使用LSTM网络通过处理按时间顺序排列的数据包记录作为输入序列，来建模网络流量中的时序依赖性。
• 对分类特征（如协议、服务、状态）应用特征嵌入，将符号值转换为适合神经网络的密集向量表示。
• 评估多种训练配置：M2M（多对多）、M2O（多对一）和M2B（多分类转为二分类），以优化序列建模与输出预测。
• 使用UNSW-NB15数据集进行模型训练与验证，并对序列长度和超参数进行调优以实现最佳性能。
• 采用标准指标评估性能：准确率、F1分数以及验证曲线，以评估泛化能力与稳定性。
• 测量不同序列长度下的预测时间，以评估实时可行性。

实验结果

研究问题

• RQ1 基于LSTM的模型能否有效捕捉网络流量序列中的时序依赖性，从而提升入侵检测性能？
• RQ2 在深度学习入侵检测系统中，引入分类网络特征的特征嵌入对性能有何影响？
• RQ3 将LSTM与特征嵌入结合是否能显著提升性能，相较于MLP、随机森林或RepTree等传统机器学习模型？
• RQ4 实现高检测准确率与稳定性的最优序列长度及训练配置（M2M、M2O、M2B）是什么？
• RQ5 基于预测时间测量，所提出的模型是否适合实时部署？

主要发现

• 采用特征嵌入的LSTM模型（LSTM(M2M + EMB)）在UNSW-NB15测试集上实现了最高的二分类准确率99.72%，F1分数为99.75%。
• 与基线MLP模型相比，采用特征嵌入的LSTM模型准确率高出约16个百分点，证明了序列建模的有效性。
• 与非嵌入模型相比，特征嵌入在二分类中使性能提升约1%，在多分类中提升约2%，表明其在捕捉分类特征语义方面的价值。
• M2M + EMB配置在不同序列长度下表现出最稳定的性能，如图7和图8中的验证曲线所示。
• 预测时间随序列长度线性增加，表明通过优化序列长度选择，实时部署是可行的。
• M2B（多分类转为二分类）转换未带来显著性能提升，表明直接进行二分类已足够满足此任务。