[论文解读] Automatic Detection of Malware-Generated Domains with Recurrent Neural Models

Pierre Lison, Vasileios Mavroeidis|arXiv (Cornell University)|Sep 20, 2017

Advanced Malware Detection Techniques参考文献 16被引用 59

一句话总结

本文训练循环神经网络，仅基于域名字符串检测DGA生成的域名，在非常低的误报率下实现高F1分数和强召回率。

ABSTRACT

Modern malware families often rely on domain-generation algorithms (DGAs) to determine rendezvous points to their command-and-control server. Traditional defence strategies (such as blacklisting domains or IP addresses) are inadequate against such techniques due to the large and continuously changing list of domains produced by these algorithms. This paper demonstrates that a machine learning approach based on recurrent neural networks is able to detect domain names generated by DGAs with high precision. The neural models are estimated on a large training set of domains generated by various malwares. Experimental results show that this data-driven approach can detect malware-generated domain names with a F_1 score of 0.971. To put it differently, the model can automatically detect 93 % of malware-generated domain names for a false positive rate of 1:100.

研究动机与目标

• 动机：需要检测域名生成算法（DGA）域名，以击败现代恶意软件家族中的C2会合点。
• 开发一种数据驱动、无特征的检测方法，完全依赖域名本身。
• 在大规模、来自多源的DGA/域名数据集上评估循环神经网络架构。
• 展示相对于词法大词组基线的性能优势，并分析用于部署的设计选择。

提出的方法

• 使用循环神经网络（GRU/LSTM）处理域名的字符序列。
• 将字符表示为独热向量（并与嵌入进行比较）。
• 通过有监督学习训练，使输出一个域名是DGA生成的概率。
• 评估架构变体（双向、密集输出层、多任务学习），并选择在效率与性能上均具最佳配置。
• 与基于大词频的逻辑回归基线进行比较，并报告多项指标（精确度、召回率、F1、ROC AUC）。

实验结果

研究问题

• RQ1 基于RNN的模型能否仅使用域名而不依赖外部上下文来检测恶意软件生成的域名？
• RQ2 架构选择（嵌入、双向、输出层）如何影响检测性能与效率？
• RQ3 与分离模型相比，采用多任务设置（检测+恶意软件家族分类）是否更具优势？
• RQ4 在涵盖多种恶意软件家族的大规模多源数据集上，该方法的性能如何？

主要发现

• 该神经模型在恶意软件生成的域名检测上达到0.971的F1分数，优于大词频基线。
• 在1:100的误报率下，神经模型检测出93%的恶意软件生成域名；1:1000 FPR时，召回率为68%；1:10 FPR时，召回率达到99.9%。
• 使用512维的独热输入和GRU单元提供强劲的性能；嵌入与双向变体提供的改进有限或不明显。
• 该神经模型还实现高吞吐量处理（在单个GPU上每秒数万域名）。
• 基于字典的DGA（如suppobox）在给定足够的训练数据后可以被模型学习；而像matsnu这样的家族在样本有限时仍具挑战性。