[论文解读] MAB-Malware: A Reinforcement Learning Framework for Attacking Static Malware Classifiers

Wei Song, Xuezixiang Li+4 more|arXiv (Cornell University)|Mar 6, 2020

Advanced Malware Detection Techniques参考文献 53被引用 22

一句话总结

MAB-Malware 提出了一种黑盒强化学习框架，将对抗性恶意软件攻击生成建模为多臂赌博机问题，通过优化探索与利用以最大化逃避率。该方法在最先进的机器学习检测器上实现了 74%–97% 的逃避率，在商用杀毒软件上实现了 32%–48% 的逃避率，通过最小化载荷修改并重用成功载荷，实现了对静态恶意软件分类器的有效且可解释的攻击。

ABSTRACT

Modern commercial antivirus systems increasingly rely on machine learning to keep up with the rampant inflation of new malware. However, it is well-known that machine learning models are vulnerable to adversarial examples (AEs). Previous works have shown that ML malware classifiers are fragile to the white-box adversarial attacks. However, ML models used in commercial antivirus products are usually not available to attackers and only return hard classification labels. Therefore, it is more practical to evaluate the robustness of ML models and real-world AVs in a pure black-box manner. We propose a black-box Reinforcement Learning (RL) based framework to generate AEs for PE malware classifiers and AV engines. It regards the adversarial attack problem as a multi-armed bandit problem, which finds an optimal balance between exploiting the successful patterns and exploring more varieties. Compared to other frameworks, our improvements lie in three points. 1) Limiting the exploration space by modeling the generation process as a stateless process to avoid combination explosions. 2) Due to the critical role of payload in AE generation, we design to reuse the successful payload in modeling. 3) Minimizing the changes on AE samples to correctly assign the rewards in RL learning. It also helps identify the root cause of evasions. As a result, our framework has much higher black-box evasion rates than other off-the-shelf frameworks. Results show it has over 74\%--97\% evasion rate for two state-of-the-art ML detectors and over 32\%--48\% evasion rate for commercial AVs in a pure black-box setting. We also demonstrate that the transferability of adversarial attacks among ML-based classifiers is higher than the attack transferability between purely ML-based and commercial AVs.

研究动机与目标

• 开发一种针对静态恶意软件分类器的实用黑盒对抗性攻击框架，鉴于现实世界中的杀毒软件仅暴露硬标签。
• 通过采用无状态的多臂赌博机方法，克服现有基于强化学习的攻击框架在有状态建模方面的局限性，以降低搜索空间复杂度。
• 通过重用成功载荷并最小化特征修改，提升逃避成功率，同时保持功能完整性并提高奖励信号的清晰度。
• 通过识别导致绕过杀毒软件和机器学习检测器的关键操作与特征，实现可解释的逃避分析。
• 评估对抗性样本在不同恶意软件检测系统之间的可迁移性，包括商用杀毒软件和基于机器学习的分类器。

提出的方法

• 将对抗性攻击生成建模为多臂赌博机问题，其中每个操作（如添加节、修改头部）被视为具有随机奖励的臂。
• 采用无状态动作选择机制，避免组合爆炸，假设各操作相互独立且不依赖先前操作。
• 引入动作最小化模块，过滤无效操作，并将修改限制在最小且功能完整的范围内，以保持恶意软件行为不变。
• 重用先前试验中成功的载荷内容，以加速收敛并提高赌博机设置下的探索效率。
• 根据分类结果分配奖励（逃避成功），重点关注最小化扰动，以确保有意义的奖励信号和可解释性。
• 根据观察到的成功情况，动态添加包含未知内容的新动作，实现在不了解攻击面前提下的自适应探索。

实验结果

研究问题

• RQ1 基于强化学习的黑盒框架是否能在基于机器学习的恶意软件检测器和商用杀毒软件上，显著优于现有现成方法的逃避率？
• RQ2 无状态多臂赌博机建模相比有状态强化学习模型，在对抗性恶意软件生成中如何提升可扩展性和性能？
• RQ3 在多大程度上可以重用成功载荷以加速发现有效的对抗性转换？
• RQ4 对 PE 文件进行何种最小修改足以实现检测绕过，同时保持功能完整？哪些特征对逃避起决定性作用？
• RQ5 对抗性样本在不同恶意软件检测系统之间的可迁移性如何，特别是跨基于机器学习的分类器与商用杀毒软件之间？

主要发现

• MAB-Malware 在两个最先进的基于机器学习的恶意软件检测器上，于完全黑盒环境下实现了 74%–97% 的逃避率。
• 该框架在六款商用杀毒引擎上表现出 32%–48% 的逃避率，显著优于先前的基于强化学习的方法。
• 采用无状态赌博机模型显著降低了学习复杂度，相比有状态强化学习方法实现了更快的收敛速度。
• 重用成功载荷并最小化特征修改，使对抗性样本更加稳定且可解释，能够清晰归因于逃避原因。
• 对抗性攻击在基于机器学习的分类器之间表现出更高的可迁移性，而在基于机器学习的模型与商用杀毒软件之间则较低，表明两者在架构和检测机制上存在差异。
• 该框架通过识别导致逃避的关键操作与特征（如特定节的添加或头部修改），实现了可解释的分析。