[论文解读] Improving Malware Detection Accuracy by Extracting Icon Information

Pedro Silva, Sepehr Akhavan-Masouleh+1 more|arXiv (Cornell University)|Dec 10, 2017

Advanced Malware Detection Techniques参考文献 17被引用 3

一句话总结

本文提出通过提取并聚类图标特征来增强可移植可执行文件（PE）中的恶意软件检测，以提高机器学习模型的准确性。该方法结合了人工设计特征、方向梯度直方图（HOG）以及卷积自编码器，从图标中提取1,114个特征，随后聚类为单一信息丰富的特征。实验表明，当将图标聚类特征纳入预测模型时，恶意软件检测的平均准确率提高了10%。

ABSTRACT

Detecting PE malware files is now commonly approached using statistical and machine learning models. While these models commonly use features extracted from the structure of PE files, we propose that icons from these files can also help better predict malware. We propose an innovative machine learning approach to extract information from icons. Our proposed approach consists of two steps: 1) extracting icon features using summary statics, histogram of gradients (HOG), and a convolutional autoencoder, 2) clustering icons based on the extracted icon features. Using publicly available data and by using machine learning experiments, we show our proposed icon clusters significantly boost the efficacy of malware prediction models. In particular, our experiments show an average accuracy increase of 10% when icon clusters are used in the prediction model.

研究动机与目标

• 解决在PE文件恶意软件检测中图标元数据被低估的问题，尽管其潜在可揭示恶意模式。
• 克服基于原始像素的图标分析方法的局限性，该方法易受恶意软件用于规避检测的微小扰动影响。
• 开发一种鲁棒的特征提取流程，能够在抵抗模糊化和颜色偏移等常见图标混淆技术的同时，保留有意义的视觉信息。
• 证明图标聚类可作为强大且低维的特征，提升基于机器学习的恶意软件分类器性能。
• 通过使用公开数据集和多种分类模型的严格实验，验证基于图标的特征的有效性。

提出的方法

• 采用三种互补技术提取图标特征：基于RGB通道和图像区域均值与标准差的人工设计（MC）特征、用于捕捉形状与纹理的方向梯度直方图（HOG），以及用于深度特征学习的卷积自编码器。
• 将提取的1,114个特征组合为每个图标统一的特征向量，以鲁棒地表示其视觉特征，抵抗微小失真。
• 对组合后的特征向量应用聚类（k-means），将视觉上相似的图标分组为离散聚类，将维度降低为每个文件单一的分类特征。
• 将所得的图标聚类ID作为新特征集成到传统机器学习模型（带L1/L2正则化的逻辑回归和线性SVM）中。
• 使用分层4折交叉验证并进行超参数调优（正则化强度α），以优化模型性能并防止过拟合。
• 使用标准指标（准确率、真正率（TPR）、真负率（TNR）和AUC）在保留的测试集上评估模型性能，并通过标准误评估统计显著性。

实验结果

研究问题

• RQ1 从PE文件中提取的图标特征能否提升基于机器学习的恶意软件检测模型的准确性？
• RQ2 结合人工设计特征、HOG和自编码器的特征提取技术，在抵抗常见混淆技术的同时，能否有效捕捉图标中的有意义视觉模式？
• RQ3 将图标特征聚类为语义组是否能提升恶意软件检测模型的预测能力，相比使用原始特征或不使用图标信息？
• RQ4 在不同分类器（如逻辑回归、SVM）和评估指标（如AUC、TPR、TNR）下，包含图标聚类信息在多大程度上提升了模型性能？
• RQ5 检测准确率的提升是否在多种模型架构和评估协议下均具有统计显著性且具有一致性？

主要发现

• 与未使用图标特征的模型相比，包含图标聚类特征的模型平均检测准确率提高了10%。
• 所有三种测试模型——套索逻辑回归（LR L1）、岭逻辑回归（LR L2）和线性SVM——在加入图标聚类ID后，测试准确率、AUC、TPR和TNR均表现出一致提升。
• 表现最佳的模型（带图标聚类的LR L1）在测试集上达到84.4%的准确率、80.2%的TPR、88.6%的TNR和0.918的AUC，显著优于不使用图标特征的同一模型。
• 图4中的ROC曲线清晰显示了使用和不使用图标聚类特征的模型之间的分离，证实了改进的稳健性与一致性。
• 交叉验证和测试集结果表明，该改进并非由于过拟合所致，因为使用了正则化和分层采样以确保泛化能力。
• 结果表明，尽管图标信息常被忽略，但其包含有意义且具有区分性的模式，当正确提取和聚类后，对恶意软件检测具有高度相关性。