[论文解读] DeepHTTP: Semantics-Structure Model with Attention for Anomalous HTTP Traffic Detection and Pattern Mining

Yuqi Yu, Hanbing Yan+2 more|arXiv (Cornell University)|Oct 30, 2018

Network Security and Intrusion Detection参考文献 42被引用 9

一句话总结

DeepHTTP 提出了一种结合语义与结构的深度学习模型，采用双向LSTM与注意力机制，用于检测异常HTTP流量并挖掘恶意模式。通过将HTTP请求视为自然语言序列，并融合内容语义与结构特征，该模型实现了高检测准确率与有效的模式发现，注意力机制突出显示了如'wscript'和'shell'等关键攻击指标。

ABSTRACT

In the Internet age, cyber-attacks occur frequently with complex types. Traffic generated by access activities can record website status and user request information, which brings a great opportunity for network attack detection. Among diverse network protocols, Hypertext Transfer Protocol (HTTP) is widely used in government, organizations and enterprises. In this work, we propose DeepHTTP, a semantics structure integration model utilizing Bidirectional Long Short-Term Memory (Bi-LSTM) with attention mechanism to model HTTP traffic as a natural language sequence. In addition to extracting traffic content information, we integrate structural information to enhance the generalization capabilities of the model. Moreover, the application of attention mechanism can assist in discovering critical parts of anomalous traffic and further mining attack patterns. Additionally, we demonstrate how to incrementally update the data set and retrain model so that it can be adapted to new anomalous traffic. Extensive experimental evaluations over large traffic data have illustrated that DeepHTTP has outstanding performance in traffic detection and pattern discovery.

研究动机与目标

• 解决传统异常检测方法在处理复杂、演变型HTTP流量网络攻击时的局限性。
• 通过整合HTTP请求的语义与结构特征，提升模型的泛化能力与鲁棒性。
• 实现在无先验知识的情况下，自动检测恶意流量并发现攻击模式。
• 通过增量学习支持随时间适应新型攻击变种。
• 通过注意力机制提供可解释结果，突出显示恶意流量中的关键关键词。

提出的方法

• 将HTTP请求内容视为自然语言序列，将标记映射为嵌入向量以实现语义建模。
• 通过分割HTTP条目并将其内容片段转换为结构化表示，提取结构特征。
• 使用两个独立的双向LSTM网络分别学习语义与结构特征，然后拼接其输出。
• 应用注意力机制聚焦于输入序列中的关键词汇，生成注意力权重以增强可解释性。
• 通过全连接层将语义与结构特征向量组合，进行最终分类。
• 对检测到的恶意流量执行聚类，并利用注意力加权关键词应用模式挖掘，识别重复出现的攻击签名。

实验结果

研究问题

• RQ1 结合HTTP流量语义与结构特征的深度学习模型是否能提升异常检测性能？
• RQ2 注意力机制在多大程度上能有效突出恶意HTTP流量的关键指标？
• RQ3 该模型能否检测并从已知攻击家族（如SQL注入、XSS和webshells）中挖掘出攻击模式？
• RQ4 通过增量学习与数据集更新，该模型在多大程度上能适应新型恶意流量？
• RQ5 注意力机制是否能为恶意流量的特征提供可解释的洞察？

主要发现

• 在Structs2漏洞中，模型对前5个注意力加权词汇的召回率达到0.822，提升至前20个词汇时达到0.964。
• 在SQL注入模式检测中表现强劲，'select'在前20个注意力词汇中的召回率为0.871，'limit'为0.799。
• 在XSS攻击中，模型正确识别出'script'和'iframe'为高重要性关键词，分别在前10个注意力词汇中实现0.820和0.721的召回率。
• 注意力机制成功突出显示了'wscript'、'execute'和'action'等关键攻击术语，与真实指标高度吻合。
• 模式挖掘可视化揭示了共现聚类如{ '¡', '/', 'textarea', 'script', '¿', 'alert' }，表明成功检测到基于脚本的攻击。
• 该模型在多种攻击类型中保持高性能，包括文件包含与webshell模式，'etc'和'passwd'在前20个词汇中的召回率均超过0.948。