[论文解读] Continuous Learning for Android Malware Detection

Yizheng Chen, Zhoujie Ding+1 more|arXiv (Cornell University)|Feb 8, 2023

Data Stream Mining Techniques被引用 5

一句话总结

本文提出了一种用于Android恶意软件检测的连续学习框架，结合了分层对比学习与基于伪损失的不确定性采样主动学习。通过利用对比嵌入提升相似性建模，并选择高不确定性样本进行标注，该方法将假阴性率从基线的14%降低至9%，并在七年时间内保持稳定性能，在概念漂移场景下优于先前的主动学习方法。

ABSTRACT

Machine learning methods can detect Android malware with very high accuracy. However, these classifiers have an Achilles heel, concept drift: they rapidly become out of date and ineffective, due to the evolution of malware apps and benign apps. Our research finds that, after training an Android malware classifier on one year's worth of data, the F1 score quickly dropped from 0.99 to 0.76 after 6 months of deployment on new test samples. In this paper, we propose new methods to combat the concept drift problem of Android malware classifiers. Since machine learning technique needs to be continuously deployed, we use active learning: we select new samples for analysts to label, and then add the labeled samples to the training set to retrain the classifier. Our key idea is, similarity-based uncertainty is more robust against concept drift. Therefore, we combine contrastive learning with active learning. We propose a new hierarchical contrastive learning scheme, and a new sample selection technique to continuously train the Android malware classifier. Our evaluation shows that this leads to significant improvements, compared to previously published methods for active learning. Our approach reduces the false negative rate from 14% (for the best baseline) to 9%, while also reducing the false positive rate (from 0.86% to 0.48%). Also, our approach maintains more consistent performance across a seven-year time period than past methods.

研究动机与目标

• 为解决Android恶意软件检测中的概念漂移问题，即由于恶意软件和良性应用的持续演化，分类器性能随时间迅速下降。
• 通过改进主动学习中最具信息量样本的选择效率，减少对人工分析人员的依赖。
• 通过利用分层对比学习实现更优的相似性建模，提升模型对渐进式与突发性概念漂移的鲁棒性。
• 在长时间周期（如七年）内以极少的标注成本维持高检测性能。
• 在真实部署场景中显著降低假阴性率，同时最小化假阳性率。

提出的方法

• 提出一种分层对比学习框架，从多个层次建模恶意软件样本之间的相似性：同一家族（高度相似）、不同家族（弱相似）以及良性样本（不相似）。
• 提出一种基于伪损失的不确定性评分方法，利用对比嵌入识别远离已知聚类的样本，表明其不确定性高，需优先标注。
• 采用固定标注预算（如每月50个样本）的主动学习策略，通过迭代使用新标注样本重新训练分类器，实现持续适应。
• 使用对比损失函数，促使相似样本（如同一恶意软件家族）紧密聚集，而不同样本则相互分离，从而在分布偏移下提升泛化能力。
• 对对比编码器与分类器进行端到端联合训练，使不确定性估计可直接从嵌入空间中获得。
• 在为期七年的Android应用数据集上验证该方法，在概念漂移条件下与最先进基线进行性能对比。

实验结果

研究问题

• RQ1 分层对比学习能否在严重类别不平衡条件下提升对新型恶意软件家族的检测能力？
• RQ2 基于对比嵌入的不确定性估计是否能提升主动学习中样本选择的性能？
• RQ3 与先前的主动学习方法相比，该方法在概念漂移条件下长期部署时能否维持分类器性能？
• RQ4 该方法能否在显著降低标注成本的同时显著减少假阴性率？
• RQ5 对比学习在多大程度上增强了对Android恶意软件检测中渐进式与突发性概念漂移的鲁棒性？

主要发现

• 所提方法将七年期间的平均假阴性率从最佳基线的14%降低至9%，相对改善达35%。
• 在概念漂移事件恢复后，F1分数稳定在约0.94，而基线SVM结合不确定性采样则出现长期性能下降。
• 在部署六个月后，固定分类器的F1分数从0.99下降至0.76，凸显了持续学习的必要性。
• 该方法成功识别并应对2014年Mecor勒索软件家族爆发事件，通过在6月和7月选择并标注Mecor样本，使F1分数恢复至0.94。
• 在每月标注50个样本（占当月应用的1%）的预算下，该方法实现了89%的F1分数，优于该基准上的现有主动学习方法。
• 该模型在时间维度上保持一致的性能表现，避免了先前方法在新型威胁出现时出现的高假阴性率峰值。