[论文解读] Automated Machine Learning for Deep Learning based Malware Detection

Austin L. Brown, Maanak Gupta+1 more|arXiv (Cornell University)|Mar 3, 2023

Advanced Malware Detection Techniques被引用 4

一句话总结

本文提出使用自动化机器学习（AutoML）来自动化深度学习模型的设计与超参数调优，用于恶意软件检测，其性能与最先进的人工设计模型相当或更优。该研究在静态分析（SOREL-20M 和 EMBER-2018）以及基于云的在线恶意软件检测中验证了AutoML的有效性，使用卷积神经网络（CNNs），在噪声较多、现实环境复杂的条件下表现出更优的鲁棒性，且仅需极少的专家干预。

ABSTRACT

Deep learning (DL) has proven to be effective in detecting sophisticated malware that is constantly evolving. Even though deep learning has alleviated the feature engineering problem, finding the most optimal DL model, in terms of neural architecture search (NAS) and the model's optimal set of hyper-parameters, remains a challenge that requires domain expertise. In addition, many of the proposed state-of-the-art models are very complex and may not be the best fit for different datasets. A promising approach, known as Automated Machine Learning (AutoML), can reduce the domain expertise required to implement a custom DL model. AutoML reduces the amount of human trial-and-error involved in designing DL models, and in more recent implementations can find new model architectures with relatively low computational overhead. This work provides a comprehensive analysis and insights on using AutoML for static and online malware detection. For static, our analysis is performed on two widely used malware datasets: SOREL-20M to demonstrate efficacy on large datasets; and EMBER-2018, a smaller dataset specifically curated to hinder the performance of machine learning models. In addition, we show the effects of tuning the NAS process parameters on finding a more optimal malware detection model on these static analysis datasets. Further, we also demonstrate that AutoML is performant in online malware detection scenarios using Convolutional Neural Networks (CNNs) for cloud IaaS. We compare an AutoML technique to six existing state-of-the-art CNNs using a newly generated online malware dataset with and without other applications running in the background during malware execution.In general, our experimental results show that the performance of AutoML based static and online malware detection models are on par or even better than state-of-the-art models or hand-designed models presented in literature.

研究动机与目标

• 评估AutoML在自动化恶意软件检测中深度学习模型开发方面的可行性。
• 通过自动化网络架构搜索和超参数调优，减少机器学习与恶意软件分析领域对专业知识的依赖。
• 评估AutoML在大规模静态恶意软件数据集（SOREL-20M）和具有挑战性的对抗性数据集（EMBER-2018）上的表现。
• 在包含实时执行数据的云IaaS环境中，评估AutoML在在线恶意软件检测场景中的表现。
• 探究NAS和超参数调优参数对模型性能与在噪声条件下鲁棒性的影响。

提出的方法

• 采用AutoML框架，在静态恶意软件数据集（SOREL-20M 和 EMBER-2018）上执行神经架构搜索（NAS）与超参数优化。
• 在AutoML流程中使用前馈神经网络（FFNNs）和卷积神经网络（CNNs）作为基础架构。
• 应用一次性的AutoML方法，在云IaaS环境中发现用于在线恶意软件检测的定制CNN架构。
• 调整NAS过程参数，以评估其对模型性能与鲁棒性的影响。
• 将AutoML生成的模型与六种最先进CNN模型在新收集的在线恶意软件数据集上进行对比，评估其在有无背景应用噪声条件下的表现。
• 引入辅助标签和多目标优化（例如通过可微进化）以提升模型泛化能力。

Figure 1: Example Convolutional Layer Output Shapes

实验结果

研究问题

• RQ1 AutoML能否有效自动化大规模且具有挑战性的数据集上的静态恶意软件检测深度学习模型设计？
• RQ2 在静态恶意软件检测中，AutoML性能如何随不同NAS与超参数调优配置而变化？
• RQ3 在现实世界噪声条件下，AutoML能否生成比人工设计的最先进CNN模型更具鲁棒性与更高性能的在线恶意软件检测模型？
• RQ4 辅助标签的引入如何影响AutoML流程及最终模型性能？
• RQ5 AutoML在多大程度上减少了恶意软件与深度学习领域对专家知识的依赖，同时保持或提升检测准确率？

主要发现

• AutoML生成的模型在SOREL-20M和EMBER-2018数据集上的表现与最先进的人工设计模型相当或更优。
• AutoML在在线恶意软件检测中表现出更优的鲁棒性，尤其是在模拟真实世界环境的噪声条件下。
• AutoML发现了具有复杂单元结构的CNN架构，这些结构极难通过人工设计，且性能优于现有最先进CNN模型。
• 随着输入数据噪声的增加，AutoML模型与人工模型之间的性能差距进一步扩大，表明其在真实条件下的更强泛化能力。
• 调整NAS参数显著影响模型性能，凸显了在恶意软件检测的AutoML流程中配置优化的重要性。
• AutoML在保持高检测准确率的同时，显著减少了模型设计与超参数调优对专家干预的需求。

Figure 2: Feed Forward Neural Network