[论文解读] Automated Ransomware Behavior Analysis: Pattern Extraction and Early Detection

Qian Chen, Sheikh Rabiul Islam+2 more|arXiv (Cornell University)|Jan 1, 2019

Advanced Malware Detection Techniques参考文献 12被引用 3

一句话总结

本文提出了一种用于勒索病毒行为分析的自动化工具，该工具利用TF-IDF、Fisher's LDA和Extra Trees（ET）机器学习模型，从系统日志中提取具有区分性的特征，实现早期检测与取证可视化。ET模型在鲁棒性和效率方面表现最佳，而TF-IDF在不同正常日志量下最有效地识别出关键恶意软件模式。

ABSTRACT

Security operation centers (SOCs) typically use a variety of tools to collect large volumes of host logs for detection and forensic of intrusions. Our experience, supported by recent user studies on SOC operators, indicates that operators spend ample time (e.g., hundreds of man-hours) on investigations into logs seeking adversarial actions. Similarly, reconfiguration of tools to adapt detectors for future similar attacks is commonplace upon gaining novel insights (e.g., through internal investigation or shared indicators). This paper presents an automated malware pattern-extraction and early detection tool, testing three machine learning approaches: TF-IDF (term frequency-inverse document frequency), Fisher's LDA (linear discriminant analysis) and ET (extra trees/extremely randomized trees) that can (1) analyze freshly discovered malware samples in sandboxes and generate dynamic analysis reports (host logs); (2) automatically extract the sequence of events induced by malware given a large volume of ambient (un-attacked) host logs, and the relatively few logs from hosts that are infected with potentially polymorphic malware; (3) rank the most discriminating features (unique patterns) of malware and from the learned behavior detect malicious activity; and (4) allows operators to visualize the discriminating features and their correlations to facilitate malware forensic efforts. To validate the accuracy and efficiency of our tool, we design three experiments and test seven ransomware attacks (i.e., WannaCry, DBGer, Cerber, Defray, GandCrab, Locky, and nRansom). The experimental results show that TF-IDF is the best of the three methods to identify discriminating features, and ET is the most time-efficient and robust approach.

研究动机与目标

• 应对勒索病毒日益增长的威胁，特别是针对网络安全资源有限的小型组织。
• 减少安全运营中心（SOC）环境中当前每起事件需数百小时的人工取证工作量。
• 自动化从系统日志中提取恶意行为模式，以实现勒索病毒的早期检测。
• 提供具有区分性的特征及其相关性的可视化，以支持恶意软件取证与响应规划。
• 开发一种可扩展的自动化解决方案，减少对人工逆向工程和分析师专业知识的依赖。

提出的方法

• 使用Cuckoo Sandbox生成七种勒索病毒样本（WannaCry、DBGer、Cerber、Defray、GandCrab、Locky、nRansom）的动态分析日志，以及模拟的正常用户活动日志。
• 应用TF-IDF、Fisher's LDA和Extra Trees（ET）分析系统日志，从勒索病毒引发的行为中提取具有区分性的特征。
• 在混合日志上训练模型：感染主机日志（恶意）与非感染主机日志（正常），以识别具有区分性的模式。
• 利用模型特有的权重（如TF-IDF分数、LDA类别可分性、ET特征重要性）对特征进行重要性排序。
• 可视化ET模型中的决策路径，以展示特征相关性与分层检测逻辑。
• 通过三个实验验证性能：特征排序鲁棒性、模型对比分析，以及在未见日志上的早期检测准确率。

实验结果

研究问题

• RQ1 机器学习模型能否自动从系统日志中提取最具区分性的行为模式，以区分勒索病毒活动与正常行为？
• RQ2 在不同数量的正常系统日志下，TF-IDF、Fisher's LDA与ET在识别和排序恶意特征方面表现如何比较？
• RQ3 当训练数据中包含不同数量和质量的正常主机日志时，特征排序是否保持稳定与鲁棒？
• RQ4 ET模型能否在加密发生前检测到勒索病毒活动，且具备高精度与可接受的召回率？
• RQ5 决策树的可视化能否增强对勒索病毒行为的理解，并支持响应规划？

主要发现

• TF-IDF在识别勒索病毒行为最具准确性的区分特征集合方面优于Fisher's LDA和ET。
• ET模型最为鲁棒，在不同数量的正常系统日志（C1、C2、C3场景）下均保持一致的特征排序。
• Fisher's LDA在不同正常日志量下产生显著不同的特征排序，表明其鲁棒性较低。
• ET模型在所有七个勒索病毒样本中均实现了完美的精确率（1.0），表明早期检测中无误报。
• GandCrab的检测准确率最高（0.999），F1分数也最高（0.999），而DBGer的召回率最低（0.308），表明部分变种存在检测挑战。
• ET决策树的可视化成功突出了恶意行为的执行序列及其相关性，有助于取证分析。