[论文解读] Demon in the Variant: Statistical Analysis of DNNs for Robust Backdoor Contamination Detection

Di Tang, Xiaofeng Wang+2 more|arXiv (Cornell University)|Aug 2, 2019

Adversarial Robustness in Machine Learning参考文献 41被引用 44

一句话总结

引入 TaCT 和 SCAn，通过全局表示统计、使用 EM 分解和似然比检验来检测 DNN 中的后门污染，包括源特定后门。

ABSTRACT

A security threat to deep neural networks (DNN) is backdoor contamination, in which an adversary poisons the training data of a target model to inject a Trojan so that images carrying a specific trigger will always be classified into a specific label. Prior research on this problem assumes the dominance of the trigger in an image's representation, which causes any image with the trigger to be recognized as a member in the target class. Such a trigger also exhibits unique features in the representation space and can therefore be easily separated from legitimate images. Our research, however, shows that simple target contamination can cause the representation of an attack image to be less distinguishable from that of legitimate ones, thereby evading existing defenses against the backdoor infection. In our research, we show that such a contamination attack actually subtly changes the representation distribution for the target class, which can be captured by a statistic analysis. More specifically, we leverage an EM algorithm to decompose an image into its identity part (e.g., person, traffic sign) and variation part within a class (e.g., lighting, poses). Then we analyze the distribution in each class, identifying those more likely to be characterized by a mixture model resulted from adding attack samples to the legitimate image pool. Our research shows that this new technique effectively detects data contamination attacks, including the new one we propose, and is also robust against the evasion attempts made by a knowledgeable adversary.

研究动机与目标

• 解释为何现有的后门防御在针对性污染（TaCT）面前失效。
• 开发一个鲁棒的检测器（SCAn），利用跨所有类别的全局表示分布。
• 证明 TaCT 可以创建源特定的后门，使攻击表示与良性表示不可区分。
• 在多个数据集上提供经验评估，展示 TaCT 如何规避先前防御，而 SCAn 能检测污染。

提出的方法

• 通过 EM 将输入表示为两个分量：身份（mu_t）和变异（epsilon）。
• 对所有类别的表示进行分解，以估计类别特定的身份向量和一个通用的变异分布。
• 应用似然比检验来检测其表示反映污染混合的类别。
• 通过插入触发器和覆盖图像来演示 TaCT，创建源特定的后门，污染限度有限。
• 对 TaCT 评估防御方法（Neural Cleanse、STRIP、SentiNet、Activation Clustering），并显示它们的失败。
• 提出 SCAn 作为基于全局信息的检测器，利用跨类别的分布。

实验结果

研究问题

• RQ1 TaCT 是否能够实现能够规避现有触发主导防御的源特定后门？
• RQ2 跨所有类别的全局表示分析是否能揭示通过类别内部方法无法检测的污染？
• RQ3 将表示分解为身份和变异的基于 EM 的方法在检测后门方面是否有效？
• RQ4 SCAn 对不同的后门配置和黑盒攻击的鲁棒性如何？
• RQ5 在多样化数据集上，SCAn 相对于已建立防御的有效性对比如何？

主要发现

• TaCT 能够利用覆盖图像实现对来源特定的后门，在对目标类别的高定向错误分类的同时，对非来源类别的干扰较低。
• 在二维 PCA 投影中，TaCT 下攻击图像的表示与正常目标类别图像不可区分。
• 现有防御（Neural Cleanse、STRIP、SentiNet、Activation Clustering）在 GTSRB 和 CIFAR-10 上难以可靠检测 TaCT 感染。
• TaCT 在污染适度（包括覆盖图像在内约 2.1% 的污染）的情况下实现高的目标错误分类率，同时使总体准确率接近基线。
• SCAn 通过两分量分解和通用变异来检测污染，方法是分析跨类别分布不一致性。
• SCAn 通过利用跨类别的全局信息，显示出对 TaCT 的有效性以及对其他黑盒攻击的鲁棒性。