[论文解读] A Case Study on Using Deep Learning for Network Intrusion Detection

Gabriel Fernández, Shouhuai Xu|arXiv (Cornell University)|Oct 5, 2019

Network Security and Intrusion Detection参考文献 41被引用 13

一句话总结

本文使用监督式深度神经网络（DNN）和无监督自编码器在现代数据集上评估深度学习在网络安全入侵检测中的应用。DNN在仅使用IP地址前三个八位组的情况下，相较于传统机器学习方法表现更优，并在动态IP分配环境下保持鲁棒性；而自编码器在误报率极低（0.00013）的情况下有效检测异常。

ABSTRACT

Deep Learning has been very successful in many application domains. However, its usefulness in the context of network intrusion detection has not been systematically investigated. In this paper, we report a case study on using deep learning for both supervised network intrusion detection and unsupervised network anomaly detection. We show that Deep Neural Networks (DNNs) can outperform other machine learning based intrusion detection systems, while being robust in the presence of dynamic IP addresses. We also show that Autoencoders can be effective for network anomaly detection.

研究动机与目标

• 评估深度学习在监督式与无监督式网络安全入侵检测中的有效性。
• 评估当IP地址通过DHCP动态分配时，DNN的鲁棒性。
• 探究仅使用良性流量训练自编码器以实现无监督异常检测的可行性。
• 在具有真实标签的现代高保真数据集上比较模型性能。
• 考察IP地址特征表示对模型准确率与泛化能力的影响。

提出的方法

• 使用CIC IDS 2017和ISCX IDS 2012数据集中的标记网络流数据，通过监督学习训练一个全连接前馈深度神经网络（DNN）。
• DNN在隐藏层使用ReLU激活函数，在输入/输出层使用Sigmoid激活函数，并对第一层应用L1正则化。
• 对于无监督异常检测，使用均方误差作为损失函数，在良性网络流上训练一个7层自编码器。
• 输入特征包括69个连续流统计量和协议的独热编码；为降低复杂度，排除IP和端口特征。
• 自编码器学习良性流量的低维潜在表示，并重建输入，利用重建误差检测异常。
• 设定重建误差阈值为0.03，以平衡误报与漏报。

实验结果

研究问题

• RQ1 在现代数据集上，深度神经网络是否能超越传统机器学习方法在监督式网络安全入侵检测中的表现？
• RQ2 当IP地址作为输入特征时，通过DHCP实现的动态IP分配如何影响基于DNN的入侵检测系统的性能？
• RQ3 仅在良性流量上训练的自编码器能否在无监督方式下有效检测网络入侵？
• RQ4 仅使用源和目标IP地址的前三个八位组是否能保持与使用完整IP地址相当的检测性能？
• RQ5 在基于自编码器的异常检测中，误报率与漏报率之间的权衡如何？

主要发现

• 在CIC IDS 2017和ISCX IDS 2012数据集上，DNN在真正例率和假负率方面均优于其他基于机器学习的入侵检测系统。
• 仅使用源和目标IP地址的前三个八位组可维持高检测性能，表明对DHCP分配的动态IP具有鲁棒性。
• 在仅使用前三个八位组的情况下，DNN在CIC IDS 2017数据集上实现了0.00013的极低假负率，与使用完整IP地址相比性能下降可忽略。
• 仅在良性流上训练的自编码器在重建误差阈值为0.03时，实现了极低的误报率0.00013（89个误报）。
• 尽管误报率极低，自编码器仍表现出高达0.7670的假负率，表明大量恶意流量未被检测到。
• 恶意流量的重建误差显著高于良性流量，证实自编码器能够基于重建误差有效区分异常。