[论文解读] Data-free Backdoor Removal based on Channel Lipschitzness

Runkai Zheng, Rongjun Tang+2 more|arXiv (Cornell University)|Aug 5, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出基于通道Lipschitz常数的剪枝（CLP），一种无需数据的后门防御方法，通过仅使用模型权重识别并剪除具有高通道Lipschitz常数的通道（表明对后门触发器敏感）来实现。CLP在极小准确率下降下实现最先进的后门清除效果，且速度极快，优于现有方法，无需训练数据或大量超参数调优。

ABSTRACT

Recent studies have shown that Deep Neural Networks (DNNs) are vulnerable to the backdoor attacks, which leads to malicious behaviors of DNNs when specific triggers are attached to the input images. It was further demonstrated that the infected DNNs possess a collection of channels, which are more sensitive to the backdoor triggers compared with normal channels. Pruning these channels was then shown to be effective in mitigating the backdoor behaviors. To locate those channels, it is natural to consider their Lipschitzness, which measures their sensitivity against worst-case perturbations on the inputs. In this work, we introduce a novel concept called Channel Lipschitz Constant (CLC), which is defined as the Lipschitz constant of the mapping from the input images to the output of each channel. Then we provide empirical evidences to show the strong correlation between an Upper bound of the CLC (UCLC) and the trigger-activated change on the channel activation. Since UCLC can be directly calculated from the weight matrices, we can detect the potential backdoor channels in a data-free manner, and do simple pruning on the infected DNN to repair the model. The proposed Channel Lipschitzness based Pruning (CLP) method is super fast, simple, data-free and robust to the choice of the pruning threshold. Extensive experiments are conducted to evaluate the efficiency and effectiveness of CLP, which achieves state-of-the-art results among the mainstream defense methods even without any data. Source codes are available at https://github.com/rkteddy/channel-Lipschitzness-based-pruning.

研究动机与目标

• 为在无训练数据的情况下应对后门攻击挑战。
• 在无输入数据访问的情况下识别DNN中对后门触发器敏感的通道。
• 开发一种快速、鲁棒且无需数据的防御机制，同时保持高干净准确率。
• 建立通道Lipschitz常数与后门脆弱性之间的理论与实证联系。
• 提供一种可泛化的轻量级防御方法，适用于多种CNN架构和各类后门攻击类型。

提出的方法

• 引入通道Lipschitz常数（CLC）作为衡量每个通道对输入扰动敏感度的指标。
• 从模型权重矩阵直接推导出CLC的上界（UCLC），实现无需数据的计算。
• 将UCLC异常高的通道识别为潜在的后门载体。
• 通过通道剪枝移除这些高UCLC通道，以中和后门行为。
• 使用相对剪枝阈值 $u$ 控制剪枝通道数量，且对阈值选择不敏感。
• 采用无需数据、仅依赖权重的方法，避免微调，计算效率高。

实验结果

研究问题

• RQ1 通道级别的Lipschitz常数能否作为DNN中后门触发器敏感度的可靠指标？
• RQ2 是否可能在无训练数据访问的情况下检测并移除后门通道？
• RQ3 所提出的基于UCLC的剪枝方法与现有无需数据和依赖数据的防御方法相比，在准确率和鲁棒性方面表现如何？
• RQ4 该方法对剪枝阈值 $u$ 的选择有多敏感？
• RQ5 该方法能否在不同CNN架构和多样化的后门攻击类型间实现泛化？

主要发现

• 在CIFAR-10上使用ResNet-18，CLP将所有测试后门攻击的攻击成功率（ASR）降低至3%以下，即使在10%中毒率下，干净准确率仍保持在93%以上。
• 在CIFAR-10上使用ResNet-18，CLP将BadNets（A2O）的ASR从100%降至1.38%，BadNets（A2A）降至1.06%，Trojan降至0.92%，同时干净准确率仅下降0.4%。
• 在CPU上处理500张CIFAR-10图像时，CLP的运行时间仅为2.87秒，比第二快的方法快近五倍。
• 该方法对剪枝阈值 $u$ 具有鲁棒性，多个架构中 $u$ 在3至4之间时性能最佳。
• CLP在不同架构间表现出良好泛化能力——VGG和SENet对 $u$ 的鲁棒性优于ResNet，表明其具有广泛适用性。
• 即使在高中毒率（高达10%）下，该方法仍保持高性能，多数攻击的ASR被降低至3%以下，表明对数据污染水平具有强韧性。