[论文解读] eXpose: A Character-Level Convolutional Neural Network with Embeddings For Detecting Malicious URLs, File Paths and Registry Keys

Joshua Saxe, Konstantin Berlin|arXiv (Cornell University)|Feb 27, 2017

Network Security and Intrusion Detection被引用 116

一句话总结

eXpose 训练一个字符级 CNN，配合嵌入从原始字符串直接检测恶意 URL、文件路径和注册表键，在相似的误报率下优于手工设计特征。

ABSTRACT

For years security machine learning research has promised to obviate the need for signature based detection by automatically learning to detect indicators of attack. Unfortunately, this vision hasn't come to fruition: in fact, developing and maintaining today's security machine learning systems can require engineering resources that are comparable to that of signature-based detection systems, due in part to the need to develop and continuously tune the "features" these machine learning systems look at as attacks evolve. Deep learning, a subfield of machine learning, promises to change this by operating on raw input signals and automating the process of feature design and extraction. In this paper we propose the eXpose neural network, which uses a deep learning approach we have developed to take generic, raw short character strings as input (a common case for security inputs, which include artifacts like potentially malicious URLs, file paths, named pipes, named mutexes, and registry keys), and learns to simultaneously extract features and classify using character-level embeddings and convolutional neural network. In addition to completely automating the feature design and extraction process, eXpose outperforms manual feature extraction based baselines on all of the intrusion detection problems we tested it on, yielding a 5%-10% detection rate gain at 0.1% false positive rate compared to these baselines.

研究动机与目标

• 通过对原始字符串输入使用深度学习，推动在安全检测中减少手动特征工程的动机。
• 开发一个能够使用单一架构检测多种制品类型（URL、文件路径、注册表键）的统一模型。
• 证明学习得到的字符嵌入和卷积特征在检测性能上优于基线。
• 展示端到端训练在多样化的安全制品上能实现鲁棒的性能。

提出的方法

• 使用可训练的字符嵌入将输入字符序列嵌入到 s x m 的矩阵中（s=200，m=32）。
• 对多个一维卷积，卷积核大小为 k∈{2,3,4,5}，每个事件有 t=256 个过滤器，然后使用 SumPool 获得固定长度的特征向量。
• 将卷积输出连接成一个 1024 维特征向量，然后通过一个两层全连接网络，最终使用 DenseSigmoid 进行二分类。
• 在端到端训练中，使用分层 BatchNorm 和 Dropout（注册表键为 0.2，其他为 0.5）进行正则化。
• 使用 Adam 优化器，以二元交叉熵损失进行训练，并保持批次平衡（每批 256 条，其中 128 条为恶意，128 条为良性）。
• 与基线进行比较，包括 n-gram 特征（1024 维哈希向量）以及用于 URL 的专家特征模型。

实验结果

研究问题

• RQ1 带嵌入的字符级 CNN 是否能够在不使用手工特征的情况下自动从原始制品字符串中学习判别性特征？
• RQ2 与传统的 n-gram 或专家特征基线相比，eXpose 架构在恶意 URL、文件路径和注册表键上的表现如何？
• RQ3 在多种安全制品类型下，端到端深度学习是否在部署相关的低误报率下提升检测？
• RQ4 嵌入维度、字符串长度处理和正则化对性能有何影响？
• RQ5 学习得到的字符嵌入是否在跨任务中将语义上相似的字符聚类在有意义的方式？

主要发现

• eXpose 在三个问题上均优于手工特征基线（URL、文件路径、注册表键）。
• 在 10^-3 的误报率下，eXpose 的检测率大约比基线高出 5%–10%。
• 对于 URL，eXpose 在 AUC 和低 FPR 区域显著超越 n-gram 和专家特征基线。
• 对于文件路径和注册表键，eXpose 提升了检测性能，但结果受限于标注难度和数据量。
• 学习到的字符嵈在语义上对相似字符进行聚类，表明表示有意义。
• 端到端的带嵌入的 CNN 能有效从原始字符串中提取判别性特征，减少对手工特征的依赖。