[论文解读] Learning from Context: Exploiting and Interpreting File Path Information for Better Malware Detection

Adarsh Kyadige, Ethan M. Rudd+1 more|arXiv (Cornell University)|May 16, 2019

Advanced Malware Detection Techniques参考文献 44被引用 5

一句话总结

本文提出一种多视角深度学习模型，通过联合分析可移植可执行文件（PE）文件内容与文件路径信息，提升静态恶意软件检测效果，在10⁻³误报率下将假阴性率降低32.3%，在10⁻⁴误报率下降低33.1%，相较于仅依赖内容的基线模型，仅需极少基础设施改动，基于真实客户终端数据实现。

ABSTRACT

Machine learning (ML) used for static portable executable (PE) malware detection typically employs per-file numerical feature vector representations as input with one or more target labels during training. However, there is much orthogonal information that can be gleaned from the extit{context} in which the file was seen. In this paper, we propose utilizing a static source of contextual information -- the path of the PE file -- as an auxiliary input to the classifier. While file paths are not malicious or benign in and of themselves, they do provide valuable context for a malicious/benign determination. Unlike dynamic contextual information, file paths are available with little overhead and can seamlessly be integrated into a multi-view static ML detector, yielding higher detection rates at very high throughput with minimal infrastructural changes. Here we propose a multi-view neural network, which takes feature vectors from PE file content as well as corresponding file paths as inputs and outputs a detection score. To ensure realistic evaluation, we use a dataset of approximately 10 million samples -- files and file paths from user endpoints of an actual security vendor network. We then conduct an interpretability analysis via LIME modeling to ensure that our classifier has learned a sensible representation and see which parts of the file path most contributed to change in the classifier's score. We find that our model learns useful aspects of the file path for classification, while also learning artifacts from customers testing the vendor's product, e.g., by downloading a directory of malware samples each named as their hash. We prune these artifacts from our test dataset and demonstrate reductions in false negative rate of 32.3% at a $10^{-3}$ false positive rate (FPR) and 33.1% at $10^{-4}$ FPR, over a similar topology single input PE file content only model.

研究动机与目标

• 解决静态恶意软件检测器仅依赖PE文件内容、忽略文件路径等上下文信息的局限性。
• 探究文件路径（尽管本身并非恶意）是否能提供区分恶意软件与良性软件的有用信号。
• 开发一种融合PE内容特征与文件路径表示的多视角深度学习模型，以提升检测性能。
• 在大规模真实商业数据集上评估模型，该数据集来自实际客户终端，确保其实际应用价值。
• 利用LIME技术确保模型可解释性，验证学习到的模式反映的是有意义的恶意检测启发式规则，而非数据伪影。

提出的方法

• 从大型安全厂商网络中真实用户终端收集约1000万份PE文件及其文件路径的商业规模数据集。
• 使用标准静态分析技术从PE文件内容中提取数值特征向量，并通过固定长度卷积神经网络对文件路径进行嵌入。
• 训练一种多视角神经网络，将PE内容特征与文件路径嵌入作为输入，通过晚期融合方式结合，最终输出恶意软件置信度分数。
• 采用基于时间的划分验证方法，以模拟真实世界部署并避免数据泄露。
• 应用LIME（局部可解释模型无关解释）技术解释模型决策，识别对检测分数影响最大的路径片段。
• 通过可解释性分析识别并清理数据集中的伪影（如以哈希命名的测试样本），以提升模型泛化能力。

实验结果

研究问题

• RQ1 文件路径信息能否作为超越文件内容本身的有意义辅助信号，用于提升静态恶意软件检测？
• RQ2 在真实世界部署场景中，融合PE内容与文件路径特征的多视角深度学习模型是否优于仅依赖内容的基线模型？
• RQ3 模型学习到了哪些特定路径模式或结构，以关联恶意或良性行为？
• RQ4 模型预测在多大程度上依赖于数据伪影（如测试样本命名）而非真正的恶意检测启发式规则？
• RQ5 可解释性技术（如LIME）是否有助于识别并移除文件路径数据中的虚假信号，从而提升模型鲁棒性？

主要发现

• 与仅依赖内容的模型相比，多视角PE+FP模型在10⁻³误报率下将假阴性率降低了32.3%。
• 在10⁻⁴误报率下，该模型将假阴性率降低了33.1%，表明其在低误报率运行环境下的优异表现。
• LIME分析显示，模型学会了将特定路径模式（如混淆技术或常见恶意软件释放器行为）与更高的检测分数相关联。
• 模型也学习到了一些虚假伪影，例如以哈希命名的文件路径样本，这些后续被清理以提升泛化能力。
• 在移除含伪影的样本后，模型性能显著提升，证实若未妥善清洗，上下文数据可能引入噪声。
• 该方法可无缝集成至现有静态检测流水线，仅需极少基础设施改动，因文件路径无需额外终端监控组件。