[论文解读] Android Malware Detection based on Factorization Machine

Chenglin Li, Keith G. Mills+4 more|arXiv (Cornell University)|May 30, 2018

Advanced Malware Detection Techniques参考文献 39被引用 5

一句话总结

该论文提出了一种基于因子分解机（FM）的分类器，用于Android恶意软件检测，能够有效建模从清单文件和源代码派生的高度稀疏的一次性编码应用程序表示中的特征交互。该方法在DREBIN和AMD数据集上分别实现了100.00%的精确率和99.22%的精确率，且假阳率仅为1.10%，同时训练速度比最先进深度学习模型快至50倍。

ABSTRACT

As the popularity of Android smart phones has increased in recent years, so too has the number of malicious applications. Due to the potential for data theft mobile phone users face, the detection of malware on Android devices has become an increasingly important issue in cyber security. Traditional methods like signature-based routines are unable to protect users from the ever-increasing sophistication and rapid behavior changes in new types of Android malware. Therefore, a great deal of effort has been made recently to use machine learning models and methods to characterize and generalize the malicious behavior patterns of mobile apps for malware detection. In this paper, we propose a novel and highly reliable classifier for Android Malware detection based on a Factorization Machine architecture and the extraction of Android app features from manifest files and source code. Our results indicate that the numerical feature representation of an app typically results in a long and highly sparse vector and that the interactions among different features are critical to revealing malicious behavior patterns. After performing an extensive performance evaluation, our proposed method achieved a test result of 100.00% precision score on the DREBIN dataset and 99.22% precision score with only 1.10% false positive rate on the AMD dataset. These metrics match the performance of state-of-the-art machine-learning-based Android malware detection methods and several commercial antivirus engines with the benefit of training up to 50 times faster.

研究动机与目标

• 解决传统基于签名和启发式恶意软件检测方法在面对不断演变的、多态性Android恶意软件时的局限性。
• 克服线性分类器（如SVM）在检测Android应用中复杂非线性恶意行为模式时泛化能力差的问题。
• 对稀疏的一次性编码应用程序表示中的高阶特征交互进行建模，以提升对细微恶意模式的检测能力。
• 开发一种可扩展、高效的机器学习模型，能够在不进行显式交叉特征枚举的情况下捕捉特征交互。

提出的方法

• 从Android应用清单文件和源代码中提取特征，包括权限、硬件功能、意图过滤器、受限API、可疑API以及使用的权限。
• 为每个应用构建高度稀疏的一次性编码向量表示，以捕捉其静态特征。
• 应用因子分解机（FMs）高效建模成对特征交互，即使在高维稀疏特征空间中亦可实现。
• 在DREBIN和AMD数据集上端到端训练FM模型，将应用分类为良性或恶意。
• 采用单隐藏层结构，与深度学习和传统机器学习模型进行性能对比。
• 优化FM模型以处理静态应用分析中固有的稀疏性和交互复杂性。

实验结果

研究问题

• RQ1 因子分解机能否有效建模稀疏应用特征之间的复杂非线性交互，从而提升Android恶意软件检测效果？
• RQ2 在真实世界恶意软件数据集上，基于FM的检测方法在性能和训练效率方面与最先进机器学习及深度学习模型相比如何？
• RQ3 特征交互（如组合权限请求）在多大程度上提升了对隐蔽的、基于行为的恶意软件的检测能力？
• RQ4 仅基于静态应用特征训练的模型能否在不依赖动态分析或复杂图构建的情况下，实现接近完美的精确率和低假阳率？

主要发现

• 所提出的基于FM的模型在DREBIN数据集上实现了100.00%的精确率，表明测试集中无任何假阳性。
• 在AMD数据集上，该模型实现了99.22%的精确率，且假阳率仅为1.10%，表现出强大的泛化能力和极低的错误率。
• 该模型优于传统的线性分类器（如SVM），并在准确率和F1得分方面与深度学习模型相当或更优。
• 训练时间比多层感知机（MLP）模型快至50倍，凸显其卓越的可扩展性和效率。
• 该方法在检测恶意软件家族和通过学习到的特征交互识别恶意行为模式方面表现出鲁棒性。
• 结果证实，建模特征交互对于检测能够规避传统签名和线性模型的复杂、基于行为的Android恶意软件至关重要。