[论文解读] Android Malware Detection using Deep Learning on API Method Sequences

ElMouatez Billah Karbab, Mourad Debbabi+2 more|arXiv (Cornell University)|Dec 25, 2017

Advanced Malware Detection Techniques参考文献 26被引用 48

一句话总结

MalDozer 是一种基于深度学习的框架，通过 DEX 文件中的原始 API 方法调用序列检测 Android 恶意软件，并将其归因于相应家族。其在检测任务中达到 96–99% 的 F1 分数，在家族归因任务中达到 96–98%，且资源开销低，可部署于移动设备和物联网设备。

ABSTRACT

Android OS experiences a blazing popularity since the last few years. This predominant platform has established itself not only in the mobile world but also in the Internet of Things (IoT) devices. This popularity, however, comes at the expense of security, as it has become a tempting target of malicious apps. Hence, there is an increasing need for sophisticated, automatic, and portable malware detection solutions. In this paper, we propose MalDozer, an automatic Android malware detection and family attribution framework that relies on sequences classification using deep learning techniques. Starting from the raw sequence of the app's API method calls, MalDozer automatically extracts and learns the malicious and the benign patterns from the actual samples to detect Android malware. MalDozer can serve as a ubiquitous malware detection system that is not only deployed on servers, but also on mobile and even IoT devices. We evaluate MalDozer on multiple Android malware datasets ranging from 1K to 33K malware apps, and 38K benign apps. The results show that MalDozer can correctly detect malware and attribute them to their actual families with an F1-Score of 96%-99% and a false positive rate of 0.06%-2%, under all tested datasets and settings.

研究动机与目标

• 应对由于操作系统广泛采用而带来的针对移动设备和物联网设备的 Android 恶意软件威胁日益增长的问题。
• 开发一种高准确率、低误报率且极少依赖人工干预的恶意软件检测系统。
• 实现在包括低功耗物联网设备在内的多种架构上的部署，同时不牺牲性能。
• 将检测能力从二元分类扩展至恶意软件家族归因，以提升威胁优先级排序能力。
• 最小化预处理开销，以支持从原始 DEX 级 API 序列中实现轻量化、可扩展且自动化的特征提取。

提出的方法

• 直接从 DEX 文件中提取原始 API 方法调用序列，无需中间静态分析或代码转换。
• 将每个 API 方法映射为固定长度、高维的语义向量，以保留其功能含义。
• 将嵌入后的向量序列输入深度神经网络，实现对恶意与良性模式的端到端学习。
• 采用序列分类架构，学习 API 调用流中的时序依赖关系，无需人工特征工程。
• 在原始 API 序列上端到端训练模型，自动发现用于恶意软件检测与家族归因的判别性模式。
• 优化模型效率，以支持在资源受限设备（包括物联网平台）上的部署。

实验结果

研究问题

• RQ1 在原始 API 方法调用序列上进行训练的深度学习模型，是否能在多种数据集上实现高准确率的 Android 恶意软件检测？
• RQ2 此类模型在家族归因任务中的表现程度如何，其性能是否可与检测任务相媲美？
• RQ3 该模型在从服务器到物联网设备的各类部署环境中，推理时间与内存使用效率如何？
• RQ4 与现有方案（如 MAMADroid）相比，该方法在可扩展性、预处理开销和鲁棒性方面表现如何？
• RQ5 该框架是否能够无需人工重新配置或特征工程，即可处理新型 Android API 和混淆恶意软件？

主要发现

• MalDozer 在多个数据集（包括 Malgenome（1K）、Drebin（5.5K）以及 33K 恶意软件样本的合并数据集）上的恶意软件检测任务中，F1 分数达到 96–99%。
• 该框架在恶意软件家族归因任务中取得 96–98% 的 F1 分数，实现了精确的威胁分类。
• 即使在不同数据集配置下，误报率也保持在 0.06% 至 2% 的低水平。
• MalDozer 在最资源受限的物联网设备上，平均推理时间仅为 5.3 秒，展现出极高的效率。
• 该框架在部署灵活性、预处理开销和鲁棒性方面优于 MAMADroid，处理应用时无失败案例（对比 MAMADroid 的 4.6% 失败率）。
• MalDozer 无需人工特征工程或复杂预处理，可自动适应新 API 和恶意软件变种。