[论文解读] Advances In Malware Detection- An Overview

Heena Heena|ArXiv.org|Apr 5, 2021

Advanced Malware Detection Techniques参考文献 30被引用 5

一句话总结

本文对高级恶意软件检测技术进行了全面的文献综述，评估了静态分析、动态分析、基于行为的检测、机器学习、深度学习、基于云的检测以及模型检测方法。研究发现，基于行为和模型检测的方法在检测混淆恶意软件和零日恶意软件方面最为有效，主要贡献包括对检测方法的对比分析、性能指标评估，以及整理出的工具、数据集和未来研究方向清单。

ABSTRACT

Malware has become a widely used means in cyber attacks in recent decades because of various new obfuscation techniques used by malwares. In order to protect the systems, data and information, detection of malware is needed as early as possible. There are various studies on malware detection techniques that have been done but there is no method which can detect the malware completely and make malware detection problematic. Static Malware analysis is very effective for known malwares but it does not work for zero day malware which leads to the need of dynamic malware detection and the behaviour based malware detection is comparatively good among all detection techniques like signature based, deep learning based, mobile/IOT and cloud based detection but still it is not able to detect all zero day malware which shows the malware detection is very challenging task and need more techniques for malware detection. This paper describes a literature review of various methods of malware detection. A short description of each method is provided and discusses various studies already done in the advanced malware detection field and their comparison based on the detection method used, accuracy and other parameters. Apart from this we will discuss various malware detection tools, dataset and their sources which can be used in further study. This paper gives you the detailed knowledge of advanced malwares, its detection methods, how you can protect your devices and data from malware attacks and it gives the comparison of different studies on malware detection.

研究动机与目标

• 分析并对比现有的恶意软件检测技术，包括静态分析、动态分析、基于行为的检测、基于签名的方法、机器学习、深度学习、基于云的检测以及模型检测方法。
• 识别当前方法在检测零日和混淆恶意软件方面的局限性。
• 使用准确率、精确率、召回率、F1值和AUC等关键指标，评估各种检测技术的性能。
• 为研究人员提供一份经筛选的工具、数据集和真实世界部署案例清单，以支持未来的恶意软件检测研究。
• 突出当前研究中仍存在的开放挑战，如高误报率、数据集规模小、过拟合问题以及缺乏实时监控能力。

提出的方法

• 对200余项恶意软件检测相关研究进行了系统性文献综述，重点关注检测方法、准确率和性能指标。
• 将恶意软件检测技术分类为静态分析、动态分析、基于行为的检测、基于签名的方法、机器学习、深度学习、基于云的检测以及模型检测方法。
• 使用标准性能指标（准确率、精确率、召回率、F1值、AUC和对数损失）评估性能，其计算基于真正例（TP）、假正例（FP）、真负例（TN）和假负例（FN）。
• 审查并对比了12种恶意软件检测工具和10个标准数据集，包括Comodo的Valkyrie系统以及VirusShare和DREBIN等公开数据仓库。
• 分析了深度学习模型（如LeNet-5）和卷积神经网络（CNN）在基于云的恶意软件检测中的应用，评估了速度与准确率之间的权衡。
• 讨论了在分布式检测框架中，特别是在多用户执行轨迹分析中，存在的隐私和安全风险。

实验结果

研究问题

• RQ1 哪些恶意软件检测技术在识别零日和混淆恶意软件方面最为有效？
• RQ2 在恶意软件分类任务中，机器学习与深度学习模型在准确率和效率方面如何比较？
• RQ3 不同检测方法的关键性能指标（如F1值、AUC）是什么？这些指标如何随数据集规模和特征选择而变化？
• RQ4 现实世界恶意软件检测中的主要挑战有哪些，包括误报、过拟合以及缺乏实时监控？
• RQ5 基于云和基于行为的检测系统如何在降低隐私泄露和规避攻击风险的同时，提高检测率？

主要发现

• 基于行为和模型检测的方法在应对混淆恶意软件和零日恶意软件方面最为有效，优于基于签名和静态分析的方法。
• LeNet-5深度学习模型在基于云的恶意软件检测中实现了90%的准确率，但精确率较低，因此适用于低成本、快速检测的场景。
• Valkyrie系统是一种基于云的文件判定系统，通过内容和关系分析实现检测，其准确率和效率优于Kaspersky和McAfee等商业工具。
• 机器学习的性能对数据集质量、特征选择和超参数调优高度敏感，小数据集中的过拟合问题尤为突出。
• 尽管技术不断进步，但没有任何方法能实现100%的检测率，高误报率和误报率、缺乏实时评估能力以及隐私问题等挑战依然存在。
• 在终端用户环境中对多个执行轨迹进行分布式分析，可在几乎无额外开销的情况下提升检测准确率，但同时也带来了隐私泄露和规避攻击的风险。