[论文解读] BEAGLE: Forensics of Deep Learning Backdoor Attack for Better Defense

Siyuan Cheng, Guanhong Tao+9 more|arXiv (Cornell University)|Jan 16, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

BEAGLE 是一种用于深度学习后门攻击的新型取证框架，能够自动将植入后门的输入分解为干净输入和触发器，对相似攻击进行聚类以实现分类，并合成通用扫描器以检测同一类后门的新实例。该框架在未见过的 WaNet 攻击上实现了 93% 的准确率，显著优于现有扫描器，且对数据偏差和自适应攻击具有鲁棒性。

ABSTRACT

Deep Learning backdoor attacks have a threat model similar to traditional cyber attacks. Attack forensics, a critical counter-measure for traditional cyber attacks, is hence of importance for defending model backdoor attacks. In this paper, we propose a novel model backdoor forensics technique. Given a few attack samples such as inputs with backdoor triggers, which may represent different types of backdoors, our technique automatically decomposes them to clean inputs and the corresponding triggers. It then clusters the triggers based on their properties to allow automatic attack categorization and summarization. Backdoor scanners can then be automatically synthesized to find other instances of the same type of backdoor in other models. Our evaluation on 2,532 pre-trained models, 10 popular attacks, and comparison with 9 baselines show that our technique is highly effective. The decomposed clean inputs and triggers closely resemble the ground truth. The synthesized scanners substantially outperform the vanilla versions of existing scanners that can hardly generalize to different kinds of attacks.

研究动机与目标

• 应对深度学习后门攻击日益增长的威胁，此类攻击类似于传统网络攻击，可能对自动驾驶等安全关键系统造成严重影响。
• 开发一个全面的取证工作流，以识别后门攻击的根本原因，类似于传统网络安全攻击的取证流程。
• 克服现有方法的局限性——这些方法仅关注单个输入的检测或净化，缺乏泛化能力或分类能力。
• 实现扫描器的自动合成，使其能泛化至不同模型，并在无需访问植入后门输入的情况下检测同一类后门的新实例。
• 通过实现跨多种攻击类型和模型架构的可扩展、自动化检测，提升防御能力。

提出的方法

• 给定少量植入后门的输入及其对应的模型，BEAGLE 通过可微分优化过程实现端到端分解，以分离出干净输入和触发器。
• 触发器被建模为补丁状模式或输入变换函数，从而能够检测包括 BadNets、WaNet 和动态攻击在内的多种后门类型。
• 分解完成后，BEAGLE 基于结构和统计特性（如空间模式、变换函数）对触发器进行聚类，以实现攻击类型的分类。
• 从聚类后的触发器中，BEAGLE 自动合成针对性扫描器，可检测其他具有相同后门类型的模型。
• 扫描器合成利用了触发器在结构和功能上的相似性，使其能超越原始攻击样本实现泛化。
• 该框架在包含 2,532 个预训练模型和 10 种后门攻击类型的多样化数据集上进行训练和评估，并通过消融实验验证了设计选择的有效性。

实验结果

研究问题

• RQ1 取证框架是否能在不预先知晓触发器或干净数据的情况下，自动将植入后门的输入分解为干净输入和触发器？
• RQ2 触发器分解与聚类是否能实现对包括补丁型、滤波型和变换型触发器在内的多样化后门攻击类型的准确分类？
• RQ3 取证结果是否可用于合成能泛化至具有相同后门类型的新型模型的扫描器，即使无法访问植入后门的输入？
• RQ4 该框架在攻击实例和模型分布存在采样偏差的情况下是否依然稳健？
• RQ5 与现有基线扫描器相比，所合成的扫描器在检测此前未见过的后门实例时效果如何？

主要发现

• BEAGLE 能够以高保真度将植入后门的输入分解为干净输入和触发器，其结构和行为与真实情况高度接近。
• 所合成的扫描器在未见过的模型上检测 WaNet 攻击的准确率达到 93%，显著优于基线扫描器（准确率 50–53%）。
• BEAGLE 对输入采样偏差表现出鲁棒性，包括自然误分类样本和攻击类型分布不均的情况。
• 在对手已知晓 BEAGLE 的自适应攻击场景下，框架仍保持高性能，表明其具备强大抗性。
• 消融实验证实，关键组件（如触发器聚类和可微分分解）显著提升了框架的整体有效性。
• 泛化能力仍存在局限：在补丁或滤波攻击上训练的扫描器在检测 WaNet 攻击时表现较差（准确率 50–53%），表明在根本不同的攻击类别间泛化仍具挑战。