[论文解读] Learning Fast and Slow: PROPEDEUTICA for Real-time Malware Detection

Ruimin Sun, Xiaoyong Yuan+6 more|arXiv (Cornell University)|Dec 4, 2017

Advanced Malware Detection Techniques参考文献 93被引用 12

一句话总结

Propedeutica 提出了一种两阶段恶意软件检测框架，利用快速的传统机器学习（ML）进行初步筛查，并仅对边界情况使用深度学习（DL），在 CPU 上实现了 94.34% 的准确率和小于 0.1 秒的检测时间。其创新的 DeepMalware 模型通过多流输入和 ResNext 模块，捕捉时空特征，在保持实时性能的同时提升了检测精度。

ABSTRACT

Existing malware detectors on safety-critical devices have difficulties in runtime detection due to the performance overhead. In this paper, we introduce PROPEDEUTICA, a framework for efficient and effective real-time malware detection, leveraging the best of conventional machine learning (ML) and deep learning (DL) techniques. In PROPEDEUTICA, all software start execution are considered as benign and monitored by a conventional ML classifier for fast detection. If the software receives a borderline classification from the ML detector (e.g. the software is 50% likely to be benign and 50% likely to be malicious), the software will be transferred to a more accurate, yet performance demanding DL detector. To address spatial-temporal dynamics and software execution heterogeneity, we introduce a novel DL architecture (DEEPMALWARE) for PROPEDEUTICA with multi-stream inputs. We evaluated PROPEDEUTICA with 9,115 malware samples and 1,338 benign software from various categories for the Windows OS. With a borderline interval of [30%-70%], PROPEDEUTICA achieves an accuracy of 94.34% and a false-positive rate of 8.75%, with 41.45% of the samples moved for DEEPMALWARE analysis. Even using only CPU, PROPEDEUTICA can detect malware within less than 0.1 seconds.

研究动机与目标

• 通过结合快速 ML 与高精度 DL 方法，解决实时恶意软件检测中的性能-准确率权衡问题。
• 降低由现代良性与恶意软件行为复杂性和多样性导致的误报率。
• 在安全关键系统上实现低性能开销的实时检测。
• 开发一种能够捕捉系统调用序列中长期与空间局部特征的深度学习模型。
• 构建可扩展的多阶段检测流水线，动态将不确定样本路由至高精度 DL 分析。

提出的方法

• 采用两阶段分类流水线：通过传统 ML（如随机森林）进行初步筛查以提升速度，随后对边界情况使用 DeepMalware。
• 使用系统调用的滑动窗口作为 ML 和 DL 阶段的输入特征。
• 设计 DeepMalware 模型，采用多流输入以建模进程级与系统级的系统调用动态。
• 引入 ResNext 模块以捕捉空间局部模式，结合 RNN 以建模长期时间依赖性。
• 将边界分类定义为概率区间 [30%-70%]，触发 DL 分析。
• 在来自多种 Windows 应用类别的 9,115 个恶意软件和 1,338 个良性软件样本上进行评估。

实验结果

研究问题

• RQ1 混合 ML-DL 框架是否能在保持小于 0.1 秒检测时间的前提下实现高准确率，以支持实时恶意软件检测？
• RQ2 与单阶段 ML 或 DL 模型相比，多阶段分类方法在降低误报率方面的有效性如何？
• RQ3 DeepMalware 在捕捉系统调用序列中复杂时空特征方面，相较于现有 DL 模型的性能提升程度如何？
• RQ4 触发深度学习分析的最优阈值区间是什么，以在准确率与性能之间实现最佳平衡？
• RQ5 所提出的框架是否能在 CPU 上高效部署而不牺牲实时响应能力？

主要发现

• Propedeutica 在使用 [30%-70%] 边界阈值时，实现了 94.34% 的检测准确率和 8.75% 的误报率。
• 仅 41.45% 的样本需要进行 DeepMalware 分析，显著降低了系统性能负载。
• DeepMalware 在同一数据集上实现了 97.03% 的准确率和 2.43% 的误报率，优于基线 DL 方法。
• 即使在 CPU 上，平均检测时间也低于 0.1 秒，证明了实时部署的可行性。
• 该框架表明，结合快速 ML 与高精度 DL 可在保持低延迟的同时减少误报。
• DeepMalware 的多流与 ResNext 增强架构能有效捕捉系统调用序列中的短期与长期行为模式。