[论文解读] AEVA: Black-box Backdoor Detection Using Adversarial Extreme Value Analysis

Junfeng Guo, Ang Li+1 more|arXiv (Cornell University)|Oct 28, 2021

Adversarial Robustness in Machine Learning参考文献 38被引用 16

一句话总结

AEVA 提出了一种针对 DNN 的黑盒后门检测方法，仅通过访问最终输出标签即可实现，利用对抗极端值分析检测后门，其依据是对抗扰动图中的对抗奇异现象——即对抗扰动图中出现的急剧峰值。该方法在多种任务和攻击类型下均实现了 ≥86.7% 的检测准确率，尽管仅具备有限访问权限，其性能仍可与白盒方法媲美。

ABSTRACT

Deep neural networks (DNNs) are proved to be vulnerable against backdoor attacks. A backdoor is often embedded in the target DNNs through injecting a backdoor trigger into training examples, which can cause the target DNNs misclassify an input attached with the backdoor trigger. Existing backdoor detection methods often require the access to the original poisoned training data, the parameters of the target DNNs, or the predictive confidence for each given input, which are impractical in many real-world applications, e.g., on-device deployed DNNs. We address the black-box hard-label backdoor detection problem where the DNN is fully black-box and only its final output label is accessible. We approach this problem from the optimization perspective and show that the objective of backdoor detection is bounded by an adversarial objective. Further theoretical and empirical studies reveal that this adversarial objective leads to a solution with highly skewed distribution; a singularity is often observed in the adversarial map of a backdoor-infected example, which we call the adversarial singularity phenomenon. Based on this observation, we propose the adversarial extreme value analysis(AEVA) to detect backdoors in black-box neural networks. AEVA is based on an extreme value analysis of the adversarial map, computed from the monte-carlo gradient estimation. Evidenced by extensive experiments across multiple popular tasks and backdoor attacks, our approach is shown effective in detecting backdoor attacks under the black-box hard-label scenarios.

研究动机与目标

• 为解决在仅能访问最终输出标签的完全黑盒 DNN 中检测后门的挑战，这在现实世界中是一种常见场景。
• 克服现有方法的局限性，这些方法需要访问模型参数、训练数据或置信度分数。
• 在缺乏模型内部信息的情况下，识别后门感染的可检测特征，从而实现在边缘和云环境中的实际部署。
• 开发一种在标签数量有限以及单个标签中存在多个触发器的情况下仍具鲁棒性的方法。

提出的方法

• 通过理论分析，将后门检测形式化为一个受对抗目标约束的优化问题。
• 在黑盒硬标签设置下，使用蒙特卡洛梯度估计计算对抗扰动图。
• 检测对抗奇异现象——即对抗图中出现的尖锐峰值——该现象表明存在后门感染。
• 对多个输入的对抗峰值值应用极端值分析，使用全局对抗峰值（GAP）作为统计度量。
• 对 GAP 值应用中位数绝对偏差（MAD）算法，将模型分类为感染或清洁状态。
• 通过使用最大五个对抗峰值的和，将方法适配于多个触发器的情况，以保持奇异现象检测的有效性。

实验结果

研究问题

• RQ1 在仅能访问最终标签的完全黑盒设置下，能否有效执行后门检测？
• RQ2 后门检测中的对抗目标是否会在对抗图中引发可检测的分布异常？
• RQ3 是否可以可靠地利用对抗奇异现象——以极端峰值为特征——来检测后门？
• RQ4 在标签数量有限以及单个标签中存在多个触发器的情况下，该方法的鲁棒性如何？
• RQ5 该方法能否抵御自适应攻击，例如多标签感染或密集触发器？

主要发现

• 在多种任务、DNN 架构和后门攻击方法下，AEVA 在黑盒硬标签条件下实现了 ≥86.7% 的检测准确率。
• 即使仅提供 4% 的标签（例如 200 个样本中仅 8 个），AEVA 仍能保持高性能，表明其在低数据场景下的强大实用性。
• 对抗奇异现象——表现为对抗图中极端峰值——在 60% 的后门感染样本中出现，从而支持可靠检测。
• 由于异常指数值较低，AEVA 在仅使用极少标签时仍能实现 100% 准确率识别未感染模型。
• 当多个触发器被注入单个标签时，AEVA 的性能仅轻微下降；通过使用前五个峰值的和，其在两个触发器下达到 93.3% 的准确率，在三个触发器下达到 88.3%。
• AEVA 对自适应攻击（如多标签感染和密集触发器）具有鲁棒性，因为此类攻击会降低模型准确率或鲁棒性，从而限制其隐蔽性。