[论文解读] IntelliAV: Building an Effective On-Device Android Malware Detector

Mansour Ahmadi, Angelo Sotgiu+1 more|arXiv (Cornell University)|Feb 4, 2018

Advanced Malware Detection Techniques参考文献 23被引用 5

一句话总结

IntelliAV 提出了一种轻量级、基于设备端机器学习的 Android 恶意软件检测器，采用精心筛选的一组高效静态特征和 TensorFlow 技术，实现实时、设备端分类。在交叉验证中实现 92% 的检测率，在独立的第三方恶意软件集合上达到 96%，优于商业解决方案，同时能有效抵抗常见的混淆和载荷投递技术。

ABSTRACT

The importance of employing machine learning for malware detection has become explicit to the security community. Several anti-malware vendors have claimed and advertised the application of machine learning in their products in which the inference phase is performed on servers and high-performance machines, but the feasibility of such approaches on mobile devices with limited computational resources has not yet been assessed by the research community, vendors still being skeptical. In this paper, we aim to show the practicality of devising a learning-based anti-malware on Android mobile devices, first. Furthermore, we aim to demonstrate the significance of such a tool to cease new and evasive malware that can not easily be caught by signature-based or offline learning-based security tools. To this end, we first propose the extraction of a set of lightweight yet powerful features from Android applications. Then, we embed these features in a vector space to build an effective as well as efficient model. Hence, the model can perform the inference on the device for detecting potentially harmful applications. We show that without resorting to any signatures and relying only on a training phase involving a reasonable set of samples, the proposed system, named IntelliAV, provides more satisfying performances than the popular major anti-malware products. Moreover, we evaluate the robustness of IntelliAV against common obfuscation techniques where most of the anti-malware solutions get affected.

研究动机与目标

• 证明在计算资源有限的 Android 设备上直接部署基于学习的恶意软件检测器的可行性。
• 开发一种设备端系统，能够检测新型和具有规避能力的恶意软件，包括载荷投递型程序和混淆应用，这些恶意软件可绕过基于签名和离线学习的检测工具。
• 评估系统在常见混淆技术（如 API 隐藏和权限注入）下的性能与鲁棒性。
• 提供一种实用、高效且准确的解决方案，可在移动设备上实时运行，无需依赖服务器端推理。
• 向最终用户和研究人员公开该系统，以实现设备端保护并促进移动安全领域的进一步研究。

提出的方法

• 系统从 Android APK 中提取轻量级、具有区分性的静态特征，包括权限、API 调用和清单元素。
• 将特征嵌入向量空间，形成适合设备端机器学习的紧凑表示。
• 基于 TensorFlow 训练的模型经过优化以提升效率，并直接部署在 Android 设备上，实现实时推理。
• 通过交叉验证对模型进行调优，以在资源受限设备上平衡准确率与计算成本。
• 针对两种逃避技术评估系统的鲁棒性：基于载荷投递的攻击和 API 混淆。
• 在真实世界的应用程序和恶意软件样本上测试系统，包括来自 VirusTotal 和第三方测试机构的样本。

实验结果

研究问题

• RQ1 基于机器学习的恶意软件检测器能否在计算资源有限的 Android 设备上被有效且高效地部署？
• RQ2 设备端模型在新型和混淆恶意软件上的性能，与商业及离线学习型解决方案相比如何？
• RQ3 IntelliAV 在多大程度上能够检测出可绕过传统基于签名和离线学习检测机制的恶意软件？
• RQ4 该系统对常见混淆技术（如权限膨胀和 API 隐藏）的抗性如何？
• RQ5 该系统能否检测出在安装后才加载恶意载荷的载荷投递型恶意软件，这类恶意软件常被服务器端分析所遗漏？

主要发现

• IntelliAV 在交叉验证中使用一组小型、精心挑选的特征，实现了 92% 的检测率，证明了其在极低开销下仍具有高度有效性。
• 在第三方机构提供的独立测试集中，IntelliAV 实现了 96% 的检测率，优于前五名商业 Android 反恶意软件产品的表现。
• 系统保持了较低的推理时间，平均分类时间在各类设备上均低于 0.02 秒，即使在大型应用上也是如此。
• 在中端设备上，特征提取和分类时间均低于 5 秒，在旧款设备上低于 10 秒，确保了实时可用性。
• IntelliAV 能够在安装时检测到载荷投递型恶意软件，这是许多离线系统常遗漏的能力。
• 系统对添加良性权限和隐藏恶意 API 等混淆技术表现出强鲁棒性，表明其对常见逃避策略具有良好的抗性。