[论文解读] Circumventing Backdoor Defenses That Are Based on Latent Separability

Xiangyu Qi, Tinghao Xie+3 more|arXiv (Cornell University)|May 26, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种自适应后门中毒攻击，通过使用正确标注的正则化样本和非对称触发种植策略，规避基于潜在可分性的防御机制，有效抑制了中毒样本的潜在聚类，同时保持较高的攻击成功率（ASR），并成功逃避了SPECTRE和SCAn等防御机制的检测。

ABSTRACT

Recent studies revealed that deep learning is susceptible to backdoor poisoning attacks. An adversary can embed a hidden backdoor into a model to manipulate its predictions by only modifying a few training data, without controlling the training process. Currently, a tangible signature has been widely observed across a diverse set of backdoor poisoning attacks -- models trained on a poisoned dataset tend to learn separable latent representations for poison and clean samples. This latent separation is so pervasive that a family of backdoor defenses directly take it as a default assumption (dubbed latent separability assumption), based on which to identify poison samples via cluster analysis in the latent space. An intriguing question consequently follows: is the latent separation unavoidable for backdoor poisoning attacks? This question is central to understanding whether the assumption of latent separability provides a reliable foundation for defending against backdoor poisoning attacks. In this paper, we design adaptive backdoor poisoning attacks to present counter-examples against this assumption. Our methods include two key components: (1) a set of trigger-planted samples correctly labeled to their semantic classes (other than the target class) that can regularize backdoor learning; (2) asymmetric trigger planting strategies that help to boost attack success rate (ASR) as well as to diversify latent representations of poison samples. Extensive experiments on benchmark datasets verify the effectiveness of our adaptive attacks in bypassing existing latent separation based backdoor defenses. Moreover, our attacks still maintain a high attack success rate with negligible clean accuracy drop. Our studies call for defense designers to take caution when leveraging latent separation as an assumption in their defenses.

研究动机与目标

• 探究潜在可分性假设——在后门防御中常被使用——是否在后门中毒攻击中本质上不可避免。
• 揭示依赖潜在空间聚类来检测中毒样本的防御机制的漏洞。
• 设计自适应中毒攻击，在保持高攻击成功率的同时最小化潜在空间中的可检测签名。
• 证明通过策略性触发设计和标注，现有基于潜在可分性的防御可被有效绕过。
• 挑战潜在分离是后门攻击普遍特征的假设，呼吁在防御设计中保持谨慎。

提出的方法

• 引入正则化样本：将一部分后门样本正确标注为其真实语义类别，而非目标类别，以减少对触发-目标关联的过拟合。
• 采用非对称触发种植：为正则化样本使用较弱、多样的触发，为攻击样本使用较强的触发，从而提升模型泛化能力并减少潜在聚类。
• 通过在抑制潜在分离与保持后门功能之间取得平衡，维持高攻击成功率（ASR）。
• 对基模型的潜在空间进行聚类分析，验证中毒样本与干净样本在潜在空间中不再明显可分。
• 使用T-SNE可视化和微调实验评估攻击的隐蔽性以及现有防御的失效情况。
• 进行消融研究以分离正则化和非对称触发的贡献，确认二者对成功至关重要。

实验结果

研究问题

• RQ1 潜在可分性是否是后门中毒攻击中不可避免的特征，还是可以被主动抑制？
• RQ2 能否设计出能够规避依赖潜在空间聚类分离检测的后门攻击？
• RQ3 正确标注的正则化样本在降低中毒样本在潜在空间中的可区分性方面起到什么作用？
• RQ4 非对称触发种植如何同时实现高攻击成功率和低可检测性？
• RQ5 当面对抑制潜在分离的自适应攻击时，现有防御如SPECTRE和SCAn在多大程度上会失效？

主要发现

• 所提出的自适应攻击在抑制潜在可分性的同时实现了高攻击成功率（例如，在CIFAR-10上使用150个中毒样本时ASR达89.0%）。
• 依赖潜在空间聚类的防御如SPECTRE和SCAn在应用该攻击时无法检测到中毒样本，微调后的ASR最低降至6.9%（SPECTRE）。
• 消融研究证实，正则化样本和非对称触发均不可或缺；移除任一因素均会显著降低攻击效果或增加可检测性。
• 单纯降低中毒率或仅依赖正则化本身不足以规避检测，例如当使用50个中毒样本时，SPECTRE仍能将其清除。
• 即使在降低中毒率的情况下，攻击依然有效且隐蔽，表明低数据中毒率并不能保证防御成功。
• T-SNE可视化显示，尽管仍存在部分潜在分布差异，但中毒样本与干净样本的聚类已不再明显可分，从而动摇了基于潜在可分性的防御基础。