[论文解读] Adaptive and Scalable Android Malware Detection through Online Learning

A. Sankara Narayanan, Yang Liu+2 more|arXiv (Cornell University)|Jun 23, 2016

Advanced Malware Detection Techniques参考文献 13被引用 17

一句话总结

本文提出 DroidOL，一种基于在线学习的 Android 恶意软件检测框架，通过使用过程间控制流图特征和被动-积极分类器，持续更新模型以适应不断演变的恶意软件。在典型设置下，其准确率达到 84.29%，优于最先进批处理方法超过 20%，并展现出对群体漂移的优越适应性与可扩展性。

ABSTRACT

It is well-known that malware constantly evolves so as to evade detection and this causes the entire malware population to be non-stationary. Contrary to this fact, prior works on machine learning based Android malware detection have assumed that the distribution of the observed malware characteristics (i.e., features) do not change over time. In this work, we address the problem of malware population drift and propose a novel online machine learning based framework, named DroidOL to handle it and effectively detect malware. In order to perform accurate detection, security-sensitive behaviors are captured from apps in the form of inter-procedural control-flow sub-graph features using a state-of-the-art graph kernel. In order to perform scalable detection and to adapt to the drift and evolution in malware population, an online passive-aggressive classifier is used. In a large-scale comparative analysis with more than 87,000 apps, DroidOL achieves 84.29% accuracy outperforming two state-of-the-art malware techniques by more than 20% in their typical batch learning setting and more than 3% when they are continuously re-trained. Our experimental findings strongly indicate that online learning based approaches are highly suitable for real-world malware detection.

研究动机与目标

• 解决恶意软件群体漂移问题，即不断演变的恶意软件特征会使静态批处理训练的模型失效。
• 克服批处理学习在大规模 Android 恶意软件检测中因数据量大和频繁重新训练而产生的可扩展性限制。
• 开发一种实时、自适应的检测系统，能够持续使用新样本更新模型，以保持高检测准确率。
• 证明在线学习在动态环境中比批处理学习更适用于实际的大规模恶意软件检测。

提出的方法

• 使用过程间控制流子图（ICFGs）从 Android 应用中提取安全敏感特征，以捕捉行为语义。
• 应用 Weisfeiler-Lehman（WL）图核将 ICFGs 转换为显式的高维特征向量，以支持机器学习。
• 采用在线被动-积极分类器，基于每个新标记样本进行增量更新，实现对特征漂移的持续适应。
• 通过顺序处理所有历史数据，保持对过去恶意软件模式的长期记忆，模拟出有效无限的批量大小。
• 采用流式、增量学习方法，每次分析新应用后立即更新模型参数，确保低延迟检测。
• 在包含超过 87,000 个应用的真实世界数据集上评估该框架，并与两种最先进批处理学习方法进行性能对比。

实验结果

研究问题

• RQ1 在线学习能否有效应对不断演变的 Android 恶意软件群体的非平稳性？
• RQ2 在准确率和随时间的适应性方面，在线学习与批处理学习相比表现如何？
• RQ3 在多态和长期存在的恶意软件家族存在的情况下，快速重新训练与长期记忆在多大程度上影响检测准确率？
• RQ4 基于图核的 ICFG 结构特征在多大程度上能提升对混淆和规避技术的鲁棒性？

主要发现

• DroidOL 在包含超过 87,000 个 Android 应用的真实世界数据集上实现了 84.29% 的检测准确率，显著优于两种最先进批处理学习方法，在其标准批处理学习配置下准确率高出超过 20%。
• 当每日重新训练时，批处理学习基线方法的性能有所提升，但仍不及 DroidOL 的表现，即使在持续重新训练下，DroidOL 的准确率仍高出超过 3%。
• Drebin 5K 数据集中近 80% 的恶意软件样本的最小变体延迟为零天，表明其多态释放模式迅速，需要每日或持续更新模型。
• 超过 40% 的恶意软件家族的最大变体延迟超过一年，凸显了检测模型中长期记忆机制对捕捉演化行为的必要性。
• 在线学习天然支持长期记忆与持续适应，可在无需大规模批处理重新训练计算负担的情况下实现有效检测。
• 结果证实，在适应性与可扩展性方面，在线学习比批处理学习更适用于大规模真实世界 Android 恶意软件检测。