[论文解读] How to Inject Backdoors with Better Consistency: Logit Anchoring on Clean Data

Zhiyuan Zhang, Lingjuan Lyu+3 more|arXiv (Cornell University)|Sep 3, 2021

Adversarial Robustness in Machine Learning参考文献 38被引用 10

一句话总结

本文提出了一种名为logit anchoring的新方法，通过冻结模型在干净数据上的行为，实现更优的一致性，将后门注入预训练模型。通过理论和实证证明，在后门微调过程中，对抗性权重扰动（AWP）会自然出现，该方法显著降低了logit方差，同时提升了全局和实例级别的一致性，相较于BadNets等基线方法表现更优。

ABSTRACT

Since training a large-scale backdoored model from scratch requires a large training dataset, several recent attacks have considered to inject backdoors into a trained clean model without altering model behaviors on the clean data. Previous work finds that backdoors can be injected into a trained clean model with Adversarial Weight Perturbation (AWP). Here AWPs refers to the variations of parameters that are small in backdoor learning. In this work, we observe an interesting phenomenon that the variations of parameters are always AWPs when tuning the trained clean model to inject backdoors. We further provide theoretical analysis to explain this phenomenon. We formulate the behavior of maintaining accuracy on clean data as the consistency of backdoored models, which includes both global consistency and instance-wise consistency. We extensively analyze the effects of AWPs on the consistency of backdoored models. In order to achieve better consistency, we propose a novel anchoring loss to anchor or freeze the model behaviors on the clean data, with a theoretical guarantee. Both the analytical and the empirical results validate the effectiveness of the anchoring loss in improving the consistency, especially the instance-wise consistency.

研究动机与目标

• 理解为何在向预训练模型中注入后门时，对抗性权重扰动（AWP）会自然发生。
• 形式化定义后门模型中的一致性概念，区分全局一致性和实例级别一致性。
• 开发一种方法，在不降低干净准确率或攻击成功率的前提下，提升后门注入过程中的全局和实例级别一致性。
• 为logit anchoring为何能增强后门模型中的一致性提供理论依据。
• 在数据有限的设置下，于多种视觉和NLP基准上验证logit anchoring的有效性。

提出的方法

• 提出一种新颖的锚定损失，通过最小化模型在干净数据上的logits与原始干净模型logits之间的L2距离，有效冻结模型在干净输入上的行为。
• 引入理论分析，表明由于最优后门参数与干净模型参数接近，AWP在后门微调过程中自然出现。
• 在微调过程中应用锚定损失，以稳定模型对干净样本的预测，降低实例间的logit方差。
• 使用多种一致性度量指标——logit距离、P-distance、KL散度和皮尔逊相关系数——评估实例级别一致性。
• 在训练中引入超参数λ，控制锚定损失的强度，以平衡干净准确率与一致性。
• 可视化损失盆地和实例级别logit一致性，将所提方法与BadNets及L2正则化基线进行比较。

实验结果

研究问题

• RQ1 为何在向预训练模型中注入后门时，对抗性权重扰动（AWP）会自然发生？
• RQ2 后门模型的一致性如何被形式化定义和度量，特别是从实例级别行为的角度？
• RQ3 能否通过一种新颖的锚定损失，提升后门模型的全局和实例级别一致性，同时不降低干净准确率或攻击成功率？
• RQ4 与L2正则、PGD和EWC等现有方法相比，logit anchoring在一致性和鲁棒性方面表现如何？
• RQ5 在实际场景中，一致性提升在多大程度上降低了后门的可检测性？

主要发现

• 所提出的logit anchoring方法在实例级别一致性方面表现显著更优，在CIFAR-10上皮尔逊相关系数达到0.859，而BadNets仅为0.697。
• 与BadNets相比，该方法将logit方差降低了80%，表现为logit距离为0.48（干净模型为0.00），mKL散度为0.014（BadNets为0.110）。
• 在CIFAR-100和Tiny-ImageNet上，即使仅使用640张训练图像，该方法仍保持高一致性，优于L2正则和PGD基线。
• 在CIFAR-10上，该方法实现了97.28%的攻击成功率（ASR）和94.41%的干净准确率，性能下降可忽略。
• 可视化结果证实，与BadNets和L2正则化模型相比，该方法在干净样本上产生的logits更具一致性。
• 理论分析确认，由于最优后门参数与干净模型参数接近，AWP在后门微调过程中自然出现。