[论文解读] TAD: Trigger Approximation based Black-box Trojan Detection for AI

Xinqiao Zhang, Huili Chen+1 more|arXiv (Cornell University)|Feb 3, 2021

Adversarial Robustness in Machine Learning参考文献 13被引用 9

一句话总结

TAD 是首个使用触发器近似技术的黑盒后门检测框架，通过利用触发器中的空间依赖性，实现在输入空间中的高效搜索，从而实现快速、可扩展的深度神经网络后门检测。在 TrojAI 数据集上，TAD 的 ROC-AUC 达到 0.91，平均每模型检测时间为 7.1 分钟，支持多边形和 Instagram 滤镜类触发器。

ABSTRACT

An emerging amount of intelligent applications have been developed with the surge of Machine Learning (ML). Deep Neural Networks (DNNs) have demonstrated unprecedented performance across various fields such as medical diagnosis and autonomous driving. While DNNs are widely employed in security-sensitive fields, they are identified to be vulnerable to Neural Trojan (NT) attacks that are controlled and activated by the stealthy trigger. We call this vulnerable model adversarial artificial intelligence (AI). In this paper, we target to design a robust Trojan detection scheme that inspects whether a pre-trained AI model has been Trojaned before its deployment. Prior works are oblivious of the intrinsic property of trigger distribution and try to reconstruct the trigger pattern using simple heuristics, i.e., stimulating the given model to incorrect outputs. As a result, their detection time and effectiveness are limited. We leverage the observation that the pixel trigger typically features spatial dependency and propose TAD, the first trigger approximation based Trojan detection framework that enables fast and scalable search of the trigger in the input space. Furthermore, TAD can also detect Trojans embedded in the feature space where certain filter transformations are used to activate the Trojan. We perform extensive experiments to investigate the performance of the TAD across various datasets and ML models. Empirical results show that TAD achieves a ROC-AUC score of 0:91 on the public TrojAI dataset 1 and the average detection time per model is 7:1 minutes.

研究动机与目标

• 为在部署前快速、可扩展且稳健地检测预训练 DNN 中的后门，解决关键需求。
• 克服先前方法依赖启发式触发器重建或需要白盒访问的局限性。
• 在统一且高效的框架中检测局部多边形触发器和全局滤镜类触发器（如 Instagram 滤镜）。
• 在无需良性数据集或模型微调的情况下，实现对多样化模型架构和数据集的检测。
• 降低误报率，并在随机初始化和模型差异存在的情况下提升检测的一致性。

提出的方法

• TAD 将目标模型视为黑盒预言机，通过在输入空间中使用空间一致的扰动来执行触发器近似。
• 它将触发器建模为具有空间依赖性的模式，利用真实触发器通常表现出局部像素相关性的事实。
• 该方法使用条件生成模型来近似触发器分布，重点关注能最大程度激活后门行为的区域。
• 对于 Instagram 滤镜攻击，TAD 将已知的滤镜变换（如 Gotham、Nashville）作为候选触发器，并评估其激活概率。
• 它采用基于阈值的检测机制，利用从模型对候选触发器响应中推导出的中毒概率得分。
• 该框架通过调节触发器大小阈值（Tc = 3）和随机颜色尝试次数（设为 4）等参数，动态平衡检测准确率与运行时间。

实验结果

研究问题

• RQ1 是否能够设计一种黑盒检测方法，在无需访问训练数据或模型权重的情况下，高效且准确地识别 DNN 中的后门？
• RQ2 基于空间依赖性的触发器近似在降低误报率和提升检测速度方面有多有效？
• RQ3 同一框架能否以高精度检测局部多边形触发器和全局滤镜类触发器？
• RQ4 该方法在多样化模型架构和数据集（包括 TrojAI 等真实世界基准）上的可扩展性如何？
• RQ5 随机初始化和触发器变异对检测一致性及误报率的影响是什么？

主要发现

• TAD 在公开的 TrojAI 数据集上实现了 0.91 的 ROC-AUC 得分，展现出优越的检测性能。
• 平均每模型检测时间为 7.1 分钟，显著快于先前方法如 Neural Cleans 或 DeepInspect。
• 在 TrojAI 的保留测试集上，TAD 在 288 个模型（包括干净和中毒实例）上保持了 0.8924 的高 ROC-AUC。
• 该方法正确检测了 91.67% 的 Instagram 滤镜触发模型，测试数据上的 CE-Loss 为 0.2884。
• 误报主要源于模仿后门行为的“虚假”干净模型，表明需要进一步的区分技术。
• 该方法对随机初始化具有鲁棒性，随机性导致的 ROC-AUC 差异仅为 0.02，被认为可接受。