[论文解读] Creating Valid Adversarial Examples of Malware

Matouš Kozák, Martin Jureček+2 more|arXiv (Cornell University)|Jun 23, 2023

Advanced Malware Detection TechniquesComputer Science被引用 3

一句话总结

该论文提出了一种基于强化学习的框架，通过一组可移植可执行文件（PE）修改，在二进制级别生成有效且功能保持不变的对抗性恶意软件样本。使用近端策略优化（PPO），该方法在梯度提升决策树分类器上的逃避率为53.84%，在MalConv上的逃避率为11.41%；而随机应用相同修改则平均可逃避11.65%的顶级杀毒引擎。

ABSTRACT

Machine learning is becoming increasingly popular as a go-to approach for many tasks due to its world-class results. As a result, antivirus developers are incorporating machine learning models into their products. While these models improve malware detection capabilities, they also carry the disadvantage of being susceptible to adversarial attacks. Although this vulnerability has been demonstrated for many models in white-box settings, a black-box attack is more applicable in practice for the domain of malware detection. We present a generator of adversarial malware examples using reinforcement learning algorithms. The reinforcement learning agents utilize a set of functionality-preserving modifications, thus creating valid adversarial examples. Using the proximal policy optimization (PPO) algorithm, we achieved an evasion rate of 53.84% against the gradient-boosted decision tree (GBDT) model. The PPO agent previously trained against the GBDT classifier scored an evasion rate of 11.41% against the neural network-based classifier MalConv and an average evasion rate of 2.31% against top antivirus programs. Furthermore, we discovered that random application of our functionality-preserving portable executable modifications successfully evades leading antivirus engines, with an average evasion rate of 11.65%. These findings indicate that machine learning-based models used in malware detection systems are vulnerable to adversarial attacks and that better safeguards need to be taken to protect these systems.

研究动机与目标

• 开发一种黑盒对抗性攻击框架，生成可逃避基于机器学习的恶意软件检测器的功能性恶意软件样本。
• 通过经过验证的二进制修改，确保生成的对抗性样本保留原始恶意软件的功能。
• 评估对抗性样本在不同分类器之间（包括真实世界杀毒引擎）的可迁移性。
• 比较训练好的强化学习智能体与随机应用修改在逃避性能上的有效性。

提出的方法

• 设计了一个自定义的、兼容OpenAI Gym的环境，用于在PE二进制文件上训练强化学习智能体。
• 实现了一组12种功能保持的PE修改（例如插入NOP指令、修改节头），在不破坏执行的前提下修改二进制文件。
• 使用近端策略优化（PPO）算法，超参数γ=0.5和α=0.0001，训练智能体以最大化逃避率同时最小化文件大小增加。
• 采用行为对比方法，通过比较修改前后系统级行为来验证功能保持性。
• 在包含7,000个Windows恶意软件EXE文件的数据集上训练并评估智能体，测试其在GBDT、MalConv及顶级商业杀毒引擎上的逃避能力。
• 将训练好的PPO智能体与随机应用相同修改的智能体以及MAB-Malware框架作为基线进行比较。

实验结果

研究问题

• RQ1 强化学习智能体能否在黑盒设置下生成有效且功能完整的对抗性恶意软件样本，以逃避基于机器学习的恶意软件检测器？
• RQ2 与随机修改策略相比，基于PPO的智能体在逃避梯度提升决策树（GBDT）分类器方面的有效性如何？
• RQ3 针对代理模型（GBDT）生成的对抗性样本在真实世界杀毒引擎上的可迁移性如何？
• RQ4 随机应用相同的功能保持修改是否优于训练好的强化学习智能体，在逃避商业杀毒引擎方面？
• RQ5 与现有框架（如MAB-Malware）相比，所提出方法在有效性和逃避性能方面表现如何？

主要发现

• PPO智能体在GBDT分类器上的逃避率为53.84%，平均文件大小增加3.57%。
• PPO智能体在基于神经网络的MalConv分类器上的逃避率为11.41%。
• PPO智能体在顶级商业杀毒引擎上的平均逃避率为2.31%。
• 随机应用相同修改的智能体在顶级杀毒引擎上的平均逃避率为11.65%，优于PPO智能体和MAB-Malware框架。
• MAB-Malware框架在GBDT（76.12%逃避率）和MalConv（60.1%逃避率）上均优于PPO和随机智能体，但在杀毒引擎上的平均逃避率仅为2.61%。
• 研究发现，使用GBDT作为生成对抗性样本的代理模型，并不能有效实现对真实世界杀毒引擎的逃避，表明需要更优的代理模型。