[论文解读] Malware Detection Using Frequency Domain-Based Image Visualization and Deep Learning

Tajuddin Manhar Mohammed, Lakshmanan Nataraj+3 more|arXiv (Cornell University)|Jan 26, 2021

Advanced Malware Detection Techniques参考文献 71被引用 5

一句话总结

本论文提出了一种新颖的恶意软件检测方法，通过将Windows可执行文件二进制文件在离散余弦变换（DCT）域中基于字节二元组（N=2）的频率计数，转换为灰度图像，随后应用深度学习——特别是浅层和基于迁移学习的卷积神经网络（CNN），如ResNet——进行分类。该方法在新构建的大规模数据集MaleX上实现了96%的二分类准确率，并通过集成特征融合与误差驱动的联合度量设计，展现出优异的泛化能力和鲁棒性。

ABSTRACT

We propose a novel method to detect and visualize malware through image classification. The executable binaries are represented as grayscale images obtained from the count of N-grams (N=2) of bytes in the Discrete Cosine Transform (DCT) domain and a neural network is trained for malware detection. A shallow neural network is trained for classification, and its accuracy is compared with deep-network architectures such as ResNet that are trained using transfer learning. Neither dis-assembly nor behavioral analysis of malware is required for these methods. Motivated by the visual similarity of these images for different malware families, we compare our deep neural network models with standard image features like GIST descriptors to evaluate the performance. A joint feature measure is proposed to combine different features using error analysis to get an accurate ensemble model for improved classification performance. A new dataset called MaleX which contains around 1 million malware and benign Windows executable samples is created for large-scale malware detection and classification experiments. Experimental results are quite promising with 96% binary classification accuracy on MaleX. The proposed model is also able to generalize well on larger unseen malware samples and the results compare favorably with state-of-the-art static analysis-based malware detection algorithms.

研究动机与目标

• 为解决高精度、低计算量的恶意软件检测挑战，无需反汇编或行为分析。
• 探究恶意软件二进制文件在频域的表示是否能产生比空域字节图更具有判别性的视觉模式，以适用于深度学习分类。
• 构建一个大规模、平衡的数据集（MaleX），以支持数据驱动的恶意软件检测与分类研究。
• 开发一种联合特征度量，将基于DCT的图像特征与字节图图像特征相结合，以提升集成模型性能。
• 通过迁移学习与微调策略，评估深度学习模型在未见的、更大规模恶意软件样本上的泛化能力。

提出的方法

• 通过计算离散余弦变换（DCT）域中二元组（N=2）的频率计数，将Windows可执行文件的原始二进制字节转换为灰度图像。
• 使用基于DCT的图像表示，训练一个浅层3C2D卷积神经网络（CNN）用于二元恶意软件分类。
• 应用迁移学习，使用在DCT图像上微调的预训练ResNet-18和ResNet-50架构，以提升分类准确率。
• 从字节图和基于DCT的图像中提取全局GIST描述符，以与学习到的深度特征进行比较。
• 通过误差分析设计一种联合特征度量，以最优方式将基于DCT的图像特征与字节图图像特征融合至集成模型中。
• 使用一个大规模、平衡的数据集（MaleX），包含864,669个恶意样本和179,725个良性样本，用于所有模型的训练、验证和测试。

实验结果

研究问题

• RQ1 基于DCT变换的二元组频率计数所生成的恶意软件二进制文件频域表示，能否产生视觉上连贯且具有判别性的模式，适用于基于深度学习的分类？
• RQ2 在DCT图像表示上训练的浅层CNN，其性能与基于ResNet等迁移学习深度网络相比，在恶意软件检测任务中表现如何？
• RQ3 通过集成模型，将基于DCT的图像特征与字节图图像特征相结合，能在多大程度上提升分类准确率？
• RQ4 所提出的模型在更大规模、此前未见过的恶意软件样本上，其泛化能力如何，特别是在分布外测试集上的AUC和准确率表现如何？
• RQ5 所提出的联合特征度量在提升异构特征（DCT与字节图）融合方面，对恶意软件检测的贡献有多大？

主要发现

• 所提出的基于DCT的图像可视化方法在MaleX数据集上实现了96%的二分类准确率，显著优于传统手工设计特征。
• 浅层3C2D CNN在测试集上达到83.60%的准确率，尽管训练集相对较小（161,752个恶意样本），仍展现出强大的泛化能力。
• 使用ResNet-50的迁移学习方法达到最高的测试准确率86.20%，表明更深的网络架构能从恶意软件图像表示中的层次化特征学习中获益。
• 联合特征度量成功融合了基于DCT的图像特征与字节图图像特征，通过误差分析与集成建模验证，显著提升了分类性能。
• 浅层CNN模型的ROC曲线下面积（AUC）在测试集上达到0.9706，表明其具有强大的判别能力与较低的假阳性率。
• 与使用GIST特征的标准分类器（k-NN和随机森林）相比，本模型表现更优，证实了在该场景下深度特征优于手工特征。