[论文解读] Towards an Automated Pipeline for Detecting and Classifying Malware through Machine Learning

Nicola Loi, Claudio Borile+1 more|arXiv (Cornell University)|Jun 10, 2021

Advanced Malware Detection Techniques被引用 6

一句话总结

本文提出了一种用于Windows PE文件自动化静态分析的机器学习流水线，可将文件分类为良性或恶意，并进一步识别威胁类型、家族和行为。该流水线在EMBER数据集上进行训练，实现了最先进的检测性能，并具备可解释性结果，使安全分析师能够评估模型置信度，并通过特征空间可视化提升对恶意软件的理解。

ABSTRACT

The constant growth in the number of malware - software or code fragment potentially harmful for computers and information networks - and the use of sophisticated evasion and obfuscation techniques have seriously hindered classic signature-based approaches. On the other hand, malware detection systems based on machine learning techniques started offering a promising alternative to standard approaches, drastically reducing analysis time and turning out to be more robust against evasion and obfuscation techniques. In this paper, we propose a malware taxonomic classification pipeline able to classify Windows Portable Executable files (PEs). Given an input PE sample, it is first classified as either malicious or benign. If malicious, the pipeline further analyzes it in order to establish its threat type, family, and behavior(s). We tested the proposed pipeline on the open source dataset EMBER, containing approximately 1 million PE samples, analyzed through static analysis. Obtained malware detection results are comparable to other academic works in the current state of art and, in addition, we provide an in-depth classification of malicious samples. Models used in the pipeline provides interpretable results which can help security analysts in better understanding decisions taken by the automated pipeline.

研究动机与目标

• 开发一种使用机器学习进行Windows PE文件分类的自动化、可扩展流水线。
• 解决基于签名和启发式方法在检测使用混淆技术的演变型恶意软件时的局限性。
• 提供可解释的多级分类（良性/恶意、威胁类型、家族、行为），以改善分析师决策。
• 利用EMBER数据集实现超越基本检测的全面恶意软件分类。
• 识别并缓解静态分析中数据稀疏性、标签模糊性和特征表示相关的问题。

提出的方法

• 流水线使用静态分析从PE文件中提取半原始特征，利用EMBER数据集的预处理特征。
• 采用两阶段分类模型，首先使用训练好的二元分类器区分良性与恶意样本。
• 后续阶段使用多类分类器将恶意样本分类为威胁类型、家族和行为。
• 流水线采用可解释模型，使分析师能够通过特征空间可视化评估预测置信度。
• 通过未见过的良性样本评估模型置信度，证明其在区分非恶意文件方面的鲁棒性。
• 通过分析特征空间结构并识别模糊或低置信度区域，应对数据限制问题。

实验结果

研究问题

• RQ1 仅使用静态特征，机器学习流水线能否实现高精度的PE文件检测与细粒度分类？
• RQ2 当训练数据稀疏时，模型性能在不同分类阶段如何变化？
• RQ3 标签模糊性以及恶意软件中的打包/加密在多大程度上影响分类可靠性？
• RQ4 可解释的机器学习模型能否增强分析师对自动化恶意软件分类决策的理解？
• RQ5 当良性样本在后续分类阶段被错误分类为恶意时，该流水线如何处理？

主要发现

• 该流水线在EMBER数据集上的恶意软件检测率与最先进方法相当，false positive率为0.1%时检测率约为86.8%。
• 由于数据稀疏性，分类性能在后期阶段下降，每经过一个分类阶段，训练样本数量减半。
• 许多分类错误与打包或加密相关，这些技术会阻碍静态分析并降低特征的可区分性。
• 在100,000个未见过的良性样本上测试时，模型对拒绝良性样本表现出高置信度，表明初始检测阶段具有强大的泛化能力。
• 特征空间可视化揭示了多个恶意软件家族或行为重叠的模糊区域，表明模型存在不确定性。
• 流水线的可解释性使分析师能够评估预测置信度，支持更明智的优先处理，并在实际部署中减少误报。