[论文解读] Automatic Malware Description via Attribute Tagging and Similarity Embedding

Felipe N. Ducau, Ethan M. Rudd+3 more|arXiv (Cornell University)|May 15, 2019

Advanced Malware Detection Techniques被引用 11

一句话总结

本文提出了一种基于深度学习的系统，通过语义属性标记和学习到的相似性嵌入，实现对恶意软件的自动描述。通过在静态PE文件特征和厂商提供的检测名称上训练多标签神经网络，该系统以95%的准确率（每标签1%假阳性率）生成人类可读的标签（如“勒索软件”、“加壳”），同时学习一个32倍更小的嵌入空间，与原始特征相比，将单样本恶意软件家族识别准确率提高了30%以上。

ABSTRACT

With the rapid proliferation and increased sophistication of malicious software (malware), detection methods no longer rely only on manually generated signatures but have also incorporated more general approaches like machine learning detection. Although powerful for conviction of malicious artifacts, these methods do not produce any further information about the type of threat that has been detected neither allows for identifying relationships between malware samples. In this work, we address the information gap between machine learning and signature-based detection methods by learning a representation space for malware samples in which files with similar malicious behaviors appear close to each other. We do so by introducing a deep learning based tagging model trained to generate human-interpretable semantic descriptions of malicious software, which, at the same time provides potentially more useful and flexible information than malware family names. We show that the malware descriptions generated with the proposed approach correctly identify more than 95% of eleven possible tag descriptions for a given sample, at a deployable false positive rate of 1% per tag. Furthermore, we use the learned representation space to introduce a similarity index between malware files, and empirically demonstrate using dynamic traces from files' execution, that is not only more effective at identifying samples from the same families, but also 32 times smaller than those based on raw feature vectors.

研究动机与目标

• 为解决传统恶意软件家族命名中存在的不一致性和缺乏可操作信息的问题，提出一种语义化、人类可读的标签系统。
• 通过学习恶意软件的低维表示空间，弥合基于机器学习的检测与基于签名的上下文理解之间的差距。
• 通过学习到的嵌入实现高效、准确且可扩展的基于相似性的恶意软件分析，尤其适用于少样本或零样本场景。
• 构建一个统一且可扩展的恶意软件描述框架，整合来自多个厂商和检测系统的知识。
• 证明在仅使用极少标注样本的情况下，学习到的嵌入优于原始特征向量，在识别恶意软件家族方面表现更优。

提出的方法

• 在静态PE文件特征和跨厂商检测名称派生的语义标签上训练多标签深度神经网络。
• 采用联合嵌入架构，学习一个共享的低维欧几里得空间，使行为相似的恶意软件在距离上更接近。
• 在训练过程中应用对比损失目标，确保具有相似标签的恶意软件样本在嵌入空间中彼此靠近。
• 利用学习到的嵌入函数，通过低维空间中的余弦或欧几里得距离计算文件间的相似性。
• 实时部署模型，为新出现的、未见过的恶意软件二进制文件预测描述性标签和相似性分数。
• 使用动态追踪和最近邻分类方法评估系统，在单样本和少样本条件下测量家族识别的准确性。

实验结果

研究问题

• RQ1 仅从静态二进制特征出发，深度学习模型能否准确预测人类可读的语义标签？
• RQ2 学习到的嵌入空间是否比原始特征表示更好地保留恶意软件样本之间的语义相似性？
• RQ3 所提出的相似性度量在仅有一个或少数已知样本的情况下，识别同一家族新恶意软件样本的效率如何？
• RQ4 能否在保持或提升相似性检测性能的同时，显著压缩嵌入空间？
• RQ5 该标签与嵌入框架能否作为整合多样化恶意软件分析工具和检测系统的通用、可扩展基础？

主要发现

• 该模型平均每种恶意软件样本正确预测11个可能标签中的10.52个，每标签假阳性率仅为1%。
• 联合嵌入模型相比使用原始1024维特征向量，将单样本恶意软件家族识别准确率提高了30%以上，单个锚样本下达到47%的准确率。
• 学习到的相似性度量比原始特征表示小32倍，支持对大规模恶意软件库进行高效索引与查询。
• 与原始特征相比，嵌入空间能实现更有效的相似性搜索，尤其在仅掌握少量已知家族样本时表现更优。
• 从嵌入空间导出的相似性索引优于多头网络变体的索引，表明其具备更强的泛化能力和聚类性能。
• 系统在少样本学习场景下表现优异，使其在仅依赖极少先验样本的情况下，高度适用于识别新型恶意软件活动。