[论文解读] Grouping the executables to detect malware with high accuracy

Sanjay K. Sahay, Ashu Sharma|arXiv (Cornell University)|Jun 22, 2016

Advanced Malware Detection Techniques参考文献 23被引用 5

一句话总结

本文提出一种基于文件大小聚类的高精度恶意软件检测方法，通过将可执行文件按文件大小聚类为家族，实现对未知或变形恶意软件变种的有效检测。通过对三种变形恶意软件工具包（G2、PS-MPC 和 NGVCK）的文件大小应用最优 k-Means 聚类算法，该方法识别出稳定的大小分布，随后在选定特征上训练多种分类器（随机森林、J48、LMT、FT、NBT），检测准确率最高达到 99.11%。

ABSTRACT

The metamorphic malware variants with the same malicious behavior (family), can obfuscate themselves to look different from each other. This variation in structure leads to a huge signature database for traditional signature matching techniques to detect them. In order to effective and efficient detection of malware in large amounts of executables, we need to partition these files into groups which can identify their respective families. In addition, the grouping criteria should be chosen such a way that, it can also be applied to unknown files encounter on computers for classification. This paper discusses the study of malware and benign executables in groups to detect unknown malware with high accuracy. We studied sizes of malware generated by three popular second generation malware (metamorphic malware) creator kits viz. G2, PS-MPC and NGVCK, and observed that the size variation in any two generated malware from same kit is not much. Hence, we grouped the executables on the basis of malware sizes by using Optimal k-Means Clustering algorithm and used these obtained groups to select promising features for training (Random forest, J48, LMT, FT and NBT) classifiers to detect variants of malware or unknown malware. We find that detection of malware on the basis of their respected file sizes gives accuracy up to 99.11% from the classifiers.

研究动机与目标

• 解决由于结构混淆而逃避传统基于签名检测方法的变形恶意软件变种检测难题。
• 通过基于内在特征将恶意软件分组为家族，减少对大型且持续增长的签名数据库的依赖。
• 开发一种可扩展、高效的检测方法，适用于未知文件，利用文件大小作为稳定聚类标准。
• 通过结合聚类与在选定特征上训练的监督学习，提升对未知恶意软件的检测准确率。

提出的方法

• 分析三种第二代恶意软件工具包（G2、PS-MPC 和 NGVCK）生成的恶意软件的文件大小分布。
• 应用最优 k-Means 聚类算法，基于文件大小对可执行文件进行分组，利用同一恶意软件家族内部文件大小变化极小的特性。
• 从聚类分组中选取有前景的特征，用于训练多种分类器：随机森林、J48、LMT、FT 和 NBT。
• 评估各分类器在分组后且特征筛选后的数据集上的性能，以衡量检测准确率。
• 利用聚类结果作为基础，识别即使代码结构发生变化，变形变种中仍存在的稳定模式。

实验结果

研究问题

• RQ1 尽管存在代码混淆，文件大小是否可作为可靠且稳定的特征，用于将变形恶意软件分组为家族？
• RQ2 基于文件大小对可执行文件进行聚类，是否能提升对未知恶意软件变种的检测准确率？
• RQ3 在基于大小聚类的特征上训练的标准机器学习分类器，其有效性如何？
• RQ4 基于大小的分组在多大程度上可减少恶意软件检测中对大型签名数据库的依赖？

主要发现

• 由同一工具包（G2、PS-MPC、NGVCK）生成的恶意软件文件大小分布变化极小，表明文件大小是稳定的聚类特征。
• 最优 k-Means 聚类算法成功基于文件大小将可执行文件聚类为结构一致的家族，实现了稳定的特征选择。
• 在基于大小聚类的特征上训练分类器，显著提升了检测性能。
• 随机森林分类器在未知恶意软件变种上的检测准确率最高，达到 99.11%。
• 该方法在无需依赖签名数据库的前提下，展现出高度的可扩展性与对未知恶意软件检测的有效性。