[论文解读] Deep Anomaly Detection in Packet Payload

Jiaxin Liu, Xucheng Song+5 more|arXiv (Cornell University)|Dec 5, 2019

Network Security and Intrusion Detection参考文献 30被引用 5

一句话总结

本文提出了一种基于深度学习的分组载荷异常检测框架，采用基于块的特征工程和混合BL-LSTM-CNN模型，以捕捉载荷数据中的短期与长期依赖关系。该方法在CSIC 2010数据集上实现了98.67%的检测率和0.17%的误报率，优于五种最先进方法。

ABSTRACT

With the widespread adoption of cloud services, especially the extensive deployment of plenty of Web applications, it is important and challenging to detect anomalies from the packet payload. For example, the anomalies in the packet payload can be expressed as a number of specific strings which may cause attacks. Although some approaches have achieved remarkable progress, they are with limited applications since they are dependent on in-depth expert knowledge, e.g., signatures describing anomalies or communication protocol at the application level. Moreover, they might fail to detect the payload anomalies that have long-term dependency relationships. To overcome these limitations and adaptively detect anomalies from the packet payload, we propose a deep learning based framework which consists of two steps. First, a novel feature engineering method is proposed to obtain the block-based features via block sequence extraction and block embedding. The block-based features could encapsulate both the high-dimension information and the underlying sequential information which facilitate the anomaly detection. Second, a neural network is designed to learn the representation of packet payload based on Long Short-Term Memory (LSTM) and Convolutional Neural Networks (CNN). Furthermore, we cast the anomaly detection as a classification problem and stack a Multi-Layer Perception (MLP) on the above representation learning network to detect anomalies. Extensive experimental results on three public datasets indicate that our model could achieve a higher detection rate, while keeping a lower false positive rate compared with five state-of-the-art methods.

研究动机与目标

• 解决基于规则和基于流的异常检测方法的局限性，这些方法依赖专家知识或无法检测分组载荷中的长期依赖异常。
• 开发一种能够有效捕捉分组载荷中高维和序列信息的特征工程方法。
• 设计一种深度学习模型，能够学习载荷数据中的长期与短期依赖关系，以提升异常检测性能。
• 在真实网络流量场景中，降低误报率的同时保持高检测率。
• 在多个公开数据集上评估该框架，并证明其性能优于现有最先进方法。

提出的方法

• 提出一种基于块的特征工程方法，通过块序列提取和块嵌入，将原始分组载荷转换为结构化、高维的特征。
• 采用结合长短期记忆网络（LSTM）和卷积神经网络（CNN）的混合神经网络架构，以学习基于块的特征中的序列和空间模式。
• 在表示学习网络之上堆叠多层感知机（MLP），用于将载荷分类为正常或异常。
• 应用可调块长度和步长的滑动窗口机制，从分组载荷中提取序列块。
• 构建载荷块的高频词典，以降低维度并保留语义上有意义的特征。
• 通过优化块长度、步长、词典大小和LSTM隐藏状态数量等超参数，以最大化检测性能。

实验结果

研究问题

• RQ1 基于深度学习的框架是否能在不依赖专家定义签名或协议级知识的情况下，有效检测分组载荷中的异常？
• RQ2 所提出的基于块的特征工程方法在多大程度上能够保留原始分组载荷中的高维和序列信息？
• RQ3 BL-LSTM-CNN模型在多大程度上能够捕捉现有方法所遗漏的异常载荷模式中的长期依赖关系？
• RQ4 块长度、步长和词典大小等超参数在多大程度上影响所提框架的检测性能？
• RQ5 所提框架是否能在多样化的公开网络数据集中保持高检测准确率和低误报率？

主要发现

• 所提出的BL-LSTM-CNN模型在CSIC 2010数据集上实现了98.67%的检测率和0.17%的误报率，优于五种最先进方法。
• 在CICIDS 2017数据集上，该模型实现了99.78%的检测率和0.0165%的误报率，表明其在不同数据集间具有强大的泛化能力。
• 在CSIC 2010数据集上，该模型保持了99.53%的准确率和99.29%的F1得分，表明其具有高精度和良好的平衡性能。
• 消融实验表明，若移除基于块的特征工程，检测性能将分别下降3.1%（BL-CNN）和1.6%（BL-LSTM），证明了其有效性。
• 超参数调优结果显示，50个LSTM隐藏状态可获得最佳性能，且最优的块长度和步长值可进一步提升检测准确率。
• 该框架在检测短期和长期载荷异常方面表现出稳健性能，尤其在检测分散的、低浓度的异常模式方面表现优异。