[论文解读] Anti-Backdoor Learning: Training Clean Models on Poisoned Data

Yige Li, Xixiang Lyu+4 more|arXiv (Cornell University)|Oct 22, 2021

Adversarial Robustness in Machine Learning被引用 35

一句话总结

ABL 在带有后门污染的数据上训练干净模型，通过在早期隔离后门示例并在后续阶段消除后门相关性，在被污染数据上的干净准确率与在干净数据上训练的模型相当，并大幅降低后门攻击的成功率。

ABSTRACT

Backdoor attack has emerged as a major security threat to deep neural networks (DNNs). While existing defense methods have demonstrated promising results on detecting or erasing backdoors, it is still not clear whether robust training methods can be devised to prevent the backdoor triggers being injected into the trained model in the first place. In this paper, we introduce the concept of \emph{anti-backdoor learning}, aiming to train \emph{clean} models given backdoor-poisoned data. We frame the overall learning process as a dual-task of learning the \emph{clean} and the \emph{backdoor} portions of data. From this view, we identify two inherent characteristics of backdoor attacks as their weaknesses: 1) the models learn backdoored data much faster than learning with clean data, and the stronger the attack the faster the model converges on backdoored data; 2) the backdoor task is tied to a specific class (the backdoor target class). Based on these two weaknesses, we propose a general learning scheme, Anti-Backdoor Learning (ABL), to automatically prevent backdoor attacks during training. ABL introduces a two-stage \emph{gradient ascent} mechanism for standard training to 1) help isolate backdoor examples at an early training stage, and 2) break the correlation between backdoor examples and the target class at a later training stage. Through extensive experiments on multiple benchmark datasets against 10 state-of-the-art attacks, we empirically show that ABL-trained models on backdoor-poisoned data achieve the same performance as they were trained on purely clean data. Code is available at \url{https://github.com/bboylyg/ABL}.

研究动机与目标

• 动机并形式化在没有事先了解后门分布的情况下从带后门污染的数据中学习的问题。
• 识别后门攻击的固有弱点：在带后门的数据上更快学习以及对目标类别的依赖性。
• 提出 Anti-Backdoor Learning (ABL) 作为一种两阶段训练机制，用以隔离和消除后门。
• 展示 ABL 在多个数据集和 10 种最先进的后门攻击下的鲁棒性。

提出的方法

• 将后门学习框架为清洁数据与后门数据的双任务学习。
• 指出后门数据更快被学习并且与特定目标类别相关。
• 引入局部梯度上升（LGA）在早期训练中通过将其损失约束在阈值 gamma 附近来隔离后门示例。
• 基于早期训练中的低损失，将一个极小的后门示例子集（1%）隔离为 D_b_hat。
• 引入全局梯度上升（GGA）在后期训练中通过在隔离集上最大化后门损失，同时在清洁集上最小化损失来消除后门。
• 在转折时刻 T_te 将从 LGA 切换到 GGA，以在继续清洁数据学习的同时完成后门的消除。
• 给出在跨数据集和模型上都有效的实用 gamma 值（0.5）和隔离率（1%）。

实验结果

研究问题

• RQ1 是否可以在不事先了解后门分布的情况下，直接在带后门污染的数据上实现鲁棒训练？
• RQ2 在训练过程中，清洁数据与后门数据的学习动态有何不同，是否可以利用这些差异来隔离后门示例？
• RQ3 一个两阶段梯度方案（隔离+去学习）是否能够在保持清洁准确率的同时消除后门效应？
• RQ4 与现有防御相比，ABL 在多数据集上对广泛的后门攻击的表现如何？

主要发现

• 在带后门污染数据上训练的 ABL 模型的干净准确率与在干净数据上训练的模型相当。
• ABL 在 10 种后门攻击中显著降低攻击成功率，通常接近随机水平。
• ABL 在 CIFAR-10、GTSRB 以及 ImageNet 子集上对经典和特征空间后门攻击表现出强鲁棒性。
• 在早期训练隔离 1% 的数据，后续训练中进行去学习，即使污染率很高（压力测试中达到 50–70%）也有效。
• ABL 在平均上比三种最先进的防御（Fine-pruning、MCR、NAD）在降低 ASR 的同时保持高 CA，且跨数据集有效。