[论文解读] A Survey of Machine Learning Methods and Challenges for Windows Malware Classification

Edward Raff, Charles Nicholas|arXiv (Cornell University)|Jun 15, 2020

Advanced Malware Detection Techniques参考文献 225被引用 37

一句话总结

本综述回顾了机器学习在 Windows PE 恶意软件分类中的应用，详细介绍数据收集、特征提取、建模方法、评估以及关键的实际挑战。

ABSTRACT

Malware classification is a difficult problem, to which machine learning methods have been applied for decades. Yet progress has often been slow, in part due to a number of unique difficulties with the task that occur through all stages of the developing a machine learning system: data collection, labeling, feature creation and selection, model selection, and evaluation. In this survey we will review a number of the current methods and challenges related to malware classification, including data collection, feature extraction, and model construction, and evaluation. Our discussion will include thoughts on the constraints that must be considered for machine learning based solutions in this domain, and yet to be tackled problems for which machine learning could also provide a solution. This survey aims to be useful both to cybersecurity practitioners who wish to learn more about how machine learning can be applied to the malware problem, and to give data scientists the necessary background into the challenges in this uniquely complicated space.

研究动机与目标

• 识别从数据收集到评估的用于 Windows 恶意软件分类的端到端 ML 流水线。
• 总结静态与动态特征提取方法及其权衡。
• 综述在特征表示（向量、序列、图）上的常用 ML 模型及其适用性。
• 讨论影响实际部署的实际约束、数据标注和可重复性问题。
• 突出尚待进一步研究的开放性问题和需要深入探讨的领域。

提出的方法

• 将特征分为静态和动态类别，并总结代表性表示（定长、序列、图）。
• 描述跟踪 API 调用、系统变更和网络活动的动态特征提取方法。
• 讨论从原始字节、熵、PE 头和反汇编输出中进行的静态特征提取。
• 概述跨越标准向量方法、序列模型和基于图的技术的建模方法。
• 讨论评估挑战以及缺乏标准数据集和标注偏差的问题。
• 将数据收集、标注成本和概念漂移视为基本障碍。

实验结果

研究问题

• RQ1 在 Windows 恶意软件 ML 流水线中，主要的数据收集和标注挑战是什么？
• RQ2 静态、动态和基于图的特征在 Windows PE 恶意软件分类中的比较如何？
• RQ3 在该领域，不同特征表示（向量、序列、图）最适合使用哪些 ML 模型？
• RQ4 哪些关键评估与可重复性问题阻碍跨研究比较？
• RQ5 哪些未来方向和未解决的问题对实际恶意软件分类系统影响最大？

主要发现

• 数据收集和标注是主要瓶颈，存在来自蜜罐、VirusTotal 阈值以及缺乏标准数据集的偏差。
• 静态与动态特征各有优缺点，包括在动态分析中的混淆与虚拟机检测问题。
• 概念漂移与对抗规避对模型随时间的泛化构成持续挑战。
• 缺乏标准数据集（历史上依赖于在 Windows 上安装的二进制文件）阻碍跨研究比较与可重复性。
• 基于 AV 的标注引入偏差，可能无法反映接近决策边界的困难样本。
• 基于图的表示虽然强大，但相较于向量和序列方法应用不足。