[论文解读] Dataset Bias in Android Malware Detection

Yan Lin, Tianming Liu+5 more|arXiv (Cornell University)|May 31, 2022

Advanced Malware Detection Techniques被引用 5

一句话总结

本文系统研究了安卓恶意软件检测中的数据集偏差，表明真实标签标注方式、恶意软件家族分布以及数据划分方法的差异可使检测性能虚增高达44.58%。研究揭示评估结果对数据集构建与使用方式高度敏感，呼吁建立机器学习公平性框架，以实现透明、可解释的恶意软件检测研究。

ABSTRACT

Researchers have proposed kinds of malware detection methods to solve the explosive mobile security threats. We argue that the experiment results are inflated due to the research bias introduced by the variability of malware dataset. We explore the impact of bias in Android malware detection in three aspects, the method used to flag the ground truth, the distribution of malware families in the dataset, and the methods to use the dataset. We implement a set of experiments of different VT thresholds and find that the methods used to flag the malware data affect the malware detection performance directly. We further compare the impact of malware family types and composition on malware detection in detail. The superiority of each approach is different under various combinations of malware families. Through our extensive experiments, we showed that the methods to use the dataset can have a misleading impact on evaluation, and the performance difference can be up to over 40%. We argue that these research biases observed in this paper should be carefully controlled/eliminated to enforce a fair comparison of malware detection techniques. Providing reasonable and explainable results is better than only reporting a high detection accuracy with vague dataset and experimental settings.

研究动机与目标

• 调查数据集构建与使用方法如何在安卓恶意软件检测评估中引入偏差。
• 分析真实标签标注方法（例如，VirusTotal阈值）对检测性能的影响。
• 研究恶意软件家族分布与构成如何影响检测技术的可比性。
• 评估数据划分策略（例如，训练集与测试集中家族重叠）对模型性能的影响。
• 倡导建立机器学习公平性框架，以确保恶意软件检测研究的透明性、可解释性与可比性。

提出的方法

• 作者采用不同的真实标签标注标准（如VirusTotal阈值：2/10、≥1、≥10、≥28台引擎）构建多个恶意软件基准数据集，以评估标注敏感性。
• 在这些基准上评估了三种最先进的恶意软件检测方法——csbd、drebin和mamadroid，以衡量性能差异。
• 研究采用5折交叉验证，并结合两种极端划分策略：理想情况（各折间存在家族重叠）与极端情况（无家族重叠）。
• 通过检测准确率衡量性能，并量化理想情况与极端情况之间的差距，以评估偏差影响。
• 分析了在不同数据集与划分条件下，同一方法内部及不同方法之间的性能差异。
• 采用先前基准中标准化的252个恶意软件组，以确保实验的一致性。

实验结果

研究问题

• RQ1 使用VirusTotal的何种阈值对恶意软件进行标注，会影响不同方法的检测性能？
• RQ2 数据集中恶意软件家族的构成与分布在多大程度上影响检测技术报告的准确率？
• RQ3 数据划分策略——特别是训练集与测试集之间是否存在恶意软件家族重叠——如何影响模型评估结果？
• RQ4 同一检测方法是否可能因数据集构建与划分选择的不同而表现为更优或更差，从而导致误导性比较？
• RQ5 数据集偏差对安卓恶意软件检测研究中公平且可复现的评估具有何种影响？

主要发现

• mamadroid方法在理想与极端数据划分条件之间的性能差距最高达44.58%，csbd为37.29%，drebin为31.16%，表明数据划分偏差影响严重。
• 使用VirusTotal的不同真实标签标注方法（如2/10与≥28台引擎）会直接影响检测准确率，且各研究间无统一标准阈值。
• 检测方法的优越性并非在所有数据集配置中一致：在理想情况下csbd表现最佳，但在极端划分条件下，drebin在252次实验中的179次中表现最优。
• 广告软件作为恶意软件类别在不同数据集中存在显著差异（如MalGenome与Drebin中缺失，AMD与RmvDroid中存在），影响评估结果与可比性。
• 训练集与测试集之间恶意软件家族的重叠至关重要：当无重叠时，性能急剧下降，表明模型可能过度拟合于家族特异性模式。
• 本研究结论认为，当前评估实践因数据集构建与使用不一致而易受研究偏差影响，损害了检测技术之间公平比较的基础。