[论文解读] The Performance of Machine and Deep Learning Classifiers in Detecting Zero-Day Vulnerabilities

Faranak Abri, Sima Siami‐Namini+3 more|arXiv (Cornell University)|Nov 21, 2019

Network Security and Intrusion Detection参考文献 17被引用 9

一句话总结

本文使用包含恶意软件和良性软件的数据集，通过10折交叉验证评估了34种机器学习与深度学习分类器在检测零日恶意软件方面的表现。随机森林分类器取得了99.51%的最高准确率，甚至优于深度学习模型，表明传统机器学习在零日漏洞检测中可能比深度学习更具有效性和效率。

ABSTRACT

The detection of zero-day attacks and vulnerabilities is a challenging problem. It is of utmost importance for network administrators to identify them with high accuracy. The higher the accuracy is, the more robust the defense mechanism will be. In an ideal scenario (i.e., 100% accuracy) the system can detect zero-day malware without being concerned about mistakenly tagging benign files as malware or enabling disruptive malicious code running as none-malicious ones. This paper investigates different machine learning algorithms to find out how well they can detect zero-day malware. Through the examination of 34 machine/deep learning classifiers, we found that the random forest classifier offered the best accuracy. The paper poses several research questions regarding the performance of machine and deep learning algorithms when detecting zero-day malware with zero rates for false positive and false negative.

研究动机与目标

• 评估多种机器学习与深度学习分类器在检测零日恶意软件方面的性能，力求将误报和漏报降至最低。
• 确定深度学习模型是否在识别未知恶意软件方面优于传统机器学习算法。
• 评估模型复杂度、训练成本与检测准确率之间的权衡关系，以实现零日漏洞检测的最优配置。
• 识别最适合在现实环境中部署以保护系统免受零日威胁影响的分类器。
• 为基于学习的模型在无需依赖签名的情况下实现高准确率零日检测提供实证依据。

提出的方法

• 本研究对34种分类器进行了全面的实验评估，包括传统机器学习（如SVM、随机森林）、浅层神经网络以及具有多个隐藏层的深度神经网络。
• 采用10折交叉验证对模型进行训练与评估，以确保其在数据集上的鲁棒性与泛化能力。
• 数据集由标注的软件样本组成，包含良性软件与零日恶意软件，用于分类器的训练与测试。
• 性能通过标准指标进行衡量：准确率、精确率、召回率、F1值和ROC-AUC，重点在于最小化误报与漏报。
• 对深度学习模型应用超参数调优，包括调整网络层数、每层神经元数量以及批量大小。
• 分析比较了不同网络架构的模型性能，包括简单的多层感知机（MLP）以及深度达七层的网络。

实验结果

研究问题

• RQ1 传统机器学习模型是否能在检测零日恶意软件方面优于深度学习模型？
• RQ2 在零日漏洞检测中，模型深度、复杂度与检测准确率之间的最优平衡点是什么？
• RQ3 深度学习模型在零日检测中能否实现接近完美的准确率（例如99.5%或以上），且无误报或漏报？
• RQ4 不同分类器类型的误报率与漏报率如何变化？是否存在某种模型可实现近乎零误差率？
• RQ5 深度学习更高的训练成本是否由其在检测性能上相比随机森林等简单模型的显著提升所合理化？

主要发现

• 随机森林分类器实现了99.51%的最高检测准确率，优于所有其他测试模型，包括深度神经网络架构。
• 尽管预期如此，但深度学习模型并未显著优于传统机器学习模型；部分深度网络在训练200个周期后仅达到99.33%的准确率。
• 更简单的深度学习模型（如含30,1个神经元的MLP）与更深、更大的模型（如含100,80,60,40,20,10,1个神经元的MLP）表现相当，准确率仅提高0.26%。
• 没有任何模型达到100%的准确率，表明即使是最优的分类器仍会错误分类部分零日恶意软件样本。
• 传统机器学习模型，特别是随机森林，在训练成本更低、推理速度更快方面表现更优，优于深度学习模型。
• 结果表明，由于其高准确率、低误报/漏报率以及计算效率，随机森林是零日恶意软件检测更实用且更有效的选择。