[论文解读] Few-shot Backdoor Defense Using Shapley Estimation

Jiyang Guan, Zhuozhuo Tu+2 more|arXiv (Cornell University)|Dec 30, 2021

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出Shapley剪枝（ShapPruning），一种少样本后门防御方法，通过估计Shapley值来识别并仅剪除对后门行为负有最大责任的神经元。通过利用模型激活模式和一种新颖的加速策略，该方法在仅使用极少干净数据（每类仅需一张图像）的情况下实现稳健防御，剪枝的神经元少于1%，模型准确率下降不足1%，同时将攻击成功率降至0.5%以下。

ABSTRACT

Deep neural networks have achieved impressive performance in a variety of tasks over the last decade, such as autonomous driving, face recognition, and medical diagnosis. However, prior works show that deep neural networks are easily manipulated into specific, attacker-decided behaviors in the inference stage by backdoor attacks which inject malicious small hidden triggers into model training, raising serious security threats. To determine the triggered neurons and protect against backdoor attacks, we exploit Shapley value and develop a new approach called Shapley Pruning (ShapPruning) that successfully mitigates backdoor attacks from models in a data-insufficient situation (1 image per class or even free of data). Considering the interaction between neurons, ShapPruning identifies the few infected neurons (under 1% of all neurons) and manages to protect the model's structure and accuracy after pruning as many infected neurons as possible. To accelerate ShapPruning, we further propose discarding threshold and $ε$-greedy strategy to accelerate Shapley estimation, making it possible to repair poisoned models with only several minutes. Experiments demonstrate the effectiveness and robustness of our method against various attacks and tasks compared to existing methods.

研究动机与目标

• 解决在数据不足场景下防御后门攻击的挑战，即仅存在少量干净样本或无干净样本的情况。
• 准确识别并隔离导致后门行为的最少感染神经元集合，而非依赖启发式或全局剪枝方法。
• 在缓解后保持高模型准确率和结构完整性，避免过度剪枝导致性能下降。
• 加速Shapley值估计以实现实际应用，使防御时间从数小时缩短至数分钟。
• 通过利用模型统计信息（尤其是批量归一化层）重建触发器和干净数据，实现无需数据的后门缓解。

提出的方法

• 利用合作博弈论中的Shapley值，将整体后门行为归因于单个神经元，识别出对恶意预测负有最大责任的神经元。
• 提出一种触发器逆向方法，从模型激活中重建中毒输入，即使在无干净数据的情况下也能实现准确的Shapley估计。
• 提出丢弃阈值和ε-贪婪策略，通过聚焦于高影响力神经元并平衡探索与利用，加速Shapley估计。
• 实现一种混合模式的ShapPruning框架，结合无数据和少样本设置，利用批量归一化统计信息提升数据重建质量。
• 基于Shapley值实施神经元剪枝，仅移除最感染的神经元，从而保留模型结构和准确率。
• 采用蒙特卡洛估计结合早停和置信区间，以减少计算时间，同时保持估计准确性。

实验结果

研究问题

• RQ1 在仅使用极少干净数据的情况下，Shapley值估计能否有效应用于检测和隔离深度神经网络中触发后门的神经元？
• RQ2 如何加速Shapley值估计，以使后门缓解在真实世界模型中具备实用性？
• RQ3 能否通过利用批量归一化层等内部模型统计信息，在无数据设置下实现后门缓解？
• RQ4 与现有防御方法相比，ShapPruning在移除后门行为的同时，对模型准确率的保持程度如何？
• RQ5 ShapPruning在不同攻击类型（如BadNets、Trojan、Physical Key）和模型架构（如VGG、ResNet）下具有多强的鲁棒性？

主要发现

• ShapPruning仅使用每类一张图像即可成功缓解后门攻击，在GTSRB数据集上实现0.1%的准确率下降。
• 剪枝后攻击成功率降至0.4%，表明该方法在性能成本极低的情况下具备强大的防御效果。
• 平均剪枝的神经元少于全部神经元的1%，与先前方法（如Fine Pruning的70%剪枝）相比，显著减少了被移除的神经元数量。
• 所提出的加速策略（丢弃阈值和ε-贪婪）在前70名中正确识别出50个最高Shapley值神经元中的46个，准确率优于T-MAB（27/50匹配）。
• 在无数据设置下，ShapPruning在后门缓解效果上优于DeepInspect及其他基线方法，得益于利用批量归一化统计信息改进的触发器重建。
• 该方法在多个数据集（CIFAR10、CIFAR100）、模型架构（VGG16、ResNet34）和攻击类型（BadNets、Trojan、Physical Key）下均表现出鲁棒性，持续将攻击成功率降低至接近零水平。