[论文解读] Exploring Backdoor Poisoning Attacks Against Malware Classifiers

Giorgio Severi, Jim Meyer+2 more|arXiv (Cornell University)|Mar 2, 2020

Adversarial Robustness in Machine Learning被引用 15

一句话总结

本文提出一种针对基于机器学习的恶意软件分类器的模型无关后门投毒攻击，利用可解释人工智能技术选择特征以构建干净标签水印，在包含80万条Windows二进制文件的数据集中，仅使用1%的投毒样本即可实现超过97%的攻击成功率，即使攻击者无法控制标注过程亦成立。

ABSTRACT

Current training pipelines for machine learning (ML) based malware classification rely on crowdsourced threat feeds, exposing a natural attack injection point. We study for the first time the susceptibility of ML malware classifiers to backdoor poisoning attacks, specifically focusing on challenging clean label attacks where attackers do not control the sample labeling process. We propose the use of techniques from explainable machine learning to guide the selection of relevant features and their values to create a watermark in a model-agnostic fashion. Using a dataset of 800,000 Windows binaries, we demonstrate effective attacks against gradient boosting decision trees and a neural network model for malware classification under various constraints imposed on the attacker. For example, an attacker injecting just 1% poison samples in the training process can achieve a success rate greater than 97% by crafting a watermark of 8 features out of more than 2,300 available features. To demonstrate the feasibility of our backdoor attacks in practice, we create a watermarking utility for Windows PE files that preserves the binary's functionality. Finally, we experiment with potential defensive strategies and show the difficulties of completely defending against these powerful attacks, especially when the attacks blend in with the legitimate sample distribution.

研究动机与目标

• 研究基于机器学习的恶意软件分类器在攻击者无法控制标注过程（即干净标签攻击）条件下的脆弱性。
• 开发一种利用可解释人工智能技术识别显著特征以用于水印化的模型无关方法，从而构建后门。
• 证明此类后门可在不改变功能的前提下实际部署于真实世界的Windows PE二进制文件中。
• 评估针对此类隐蔽、干净标签攻击的防御策略的有效性。

提出的方法

• 利用可解释人工智能方法的特征重要性评分，识别出可被操纵以构成水印的一小部分特征（例如，从2,300个特征中选出8个）。
• 采用模型无关方法，通过修改投毒样本中选定的特征来注入后门，确保模型学习将这些样本分类为良性。
• 使用水印工具通过修改特定且非破坏性特征来修改Windows PE文件，同时保持二进制文件的功能完整性。
• 在投毒数据集上训练梯度提升决策树和神经网络模型，以在不同投毒比例和特征约束条件下评估攻击成功率。
• 评估数据净化和异常检测等防御策略，分析其在应对隐蔽、干净标签攻击时的局限性。

实验结果

研究问题

• RQ1 当攻击者无法控制标注过程（即干净标签攻击）时，是否能有效对恶意软件分类器实施后门投毒攻击？
• RQ2 可解释人工智能技术在识别最小但具有显著影响的特征集合以构建隐蔽后门方面，其有效性如何？
• RQ3 在低比例投毒样本和有限特征操纵等现实约束条件下，此类后门的成功率如何？
• RQ4 后门二进制文件是否能在功能完整的同时规避检测，从而确保实际可行性？
• RQ5 现有防御机制在多大程度上能够检测或缓解此类干净标签后门攻击？

主要发现

• 攻击者仅需向训练数据中注入1%的投毒样本，即可实现超过97%的后门成功率。
• 该攻击成功作用于梯度提升决策树和神经网络模型，证明了其广泛适用性。
• 仅需从2,300多个特征中选取8个即可构建有效的水印，凸显了可解释人工智能引导特征选择的精确性。
• 所提出的水印工具成功修改了Windows PE文件而未改变其功能，证明了实际可行性。
• 数据过滤和异常检测等防御策略效果有限，尤其是在后门与合法数据分布自然融合时。