[论文解读] Cassandra: Detecting Trojaned Networks from Adversarial Perturbations

Xiaoyu Zhang, Ajmal Mian+3 more|arXiv (Cornell University)|Jul 28, 2020

Adversarial Robustness in Machine Learning参考文献 36被引用 5

一句话总结

本文提出Cassandra，一种基于深度学习的方法，通过分析对抗性扰动和攻击难度来检测后门神经网络。该方法使用双流神经网络，在无需事先了解触发器或目标类别的情况下，对MNIST和NIST数据集上的模型进行良性或后门化分类，准确率超过92%。

ABSTRACT

Deep neural networks are being widely deployed for many critical tasks due to their high classification accuracy. In many cases, pre-trained models are sourced from vendors who may have disrupted the training pipeline to insert Trojan behaviors into the models. These malicious behaviors can be triggered at the adversary's will and hence, cause a serious threat to the widespread deployment of deep models. We propose a method to verify if a pre-trained model is Trojaned or benign. Our method captures fingerprints of neural networks in the form of adversarial perturbations learned from the network gradients. Inserting backdoors into a network alters its decision boundaries which are effectively encoded in their adversarial perturbations. We train a two stream network for Trojan detection from its global ($L_\infty$ and $L_2$ bounded) perturbations and the localized region of high energy within each perturbation. The former encodes decision boundaries of the network and latter encodes the unknown trigger shape. We also propose an anomaly detection method to identify the target class in a Trojaned network. Our methods are invariant to the trigger type, trigger size, training data and network architecture. We evaluate our methods on MNIST, NIST-Round0 and NIST-Round1 datasets, with up to 1,000 pre-trained models making this the largest study to date on Trojaned network detection, and achieve over 92\% detection accuracy to set the new state-of-the-art.

研究动机与目标

• 解决在实际部署中后门预训练深度神经网络带来的关键安全威胁。
• 克服在缺乏触发器信息或大量训练数据情况下的后门检测挑战。
• 开发一种可扩展、与模型架构无关的方法，仅使用少量干净样本即可验证模型完整性。
• 实现对后门模型中目标类别的检测，这对于理解恶意行为至关重要。
• 建立一种对触发器类型、大小和模型架构均不敏感的鲁棒、可泛化的检测框架。

提出的方法

• 生成通用的$L_\infty$和$L_2$有界对抗性扰动，以捕捉模型全局决策边界特征指纹。
• 在扰动中识别局部高能区域，以编码未知的触发器形状。
• 训练一个双流神经网络，融合全局扰动特征与局部能量模式，用于后门检测。
• 引入一种新指标攻击难度$\gamma$，量化使模型失效所需的最小扰动能量，作为关键判别依据。
• 利用$\gamma$和预测的后门概率，在两阶段流水线中预测后门模型的目标类别。
• 利用包含1,000个预训练模型的大型数据集（涵盖MNIST和NIST数据集）来训练和验证检测网络。

实验结果

研究问题

• RQ1 对抗性扰动能否作为可靠指纹，用于检测预训练深度神经网络中的后门？
• RQ2 如何在不依赖触发器或训练数据知识的情况下，设计一种与模型无关的检测方法？
• RQ3 攻击难度$\gamma$能否有效指示后门模型的目标类别？
• RQ4 该检测方法在触发器类型、大小和网络架构变化下具有多大程度的鲁棒性？
• RQ5 基于大规模良性与后门模型数据集训练的深度学习检测器，能否实现最先进性能？

主要发现

• Cassandra在NIST-Round0数据集上，使用多批次扰动和双流架构，检测准确率达到92.5%。
• 在Triggered MNIST数据集上，通过使用预测的后门概率和攻击难度，目标类别预测准确率从基线的76.1%提升至90.0%。
• 使用真实后门概率时，NIST-Round0数据集上的检测准确率进一步提升至95.0%，证实$\gamma$是目标类别的重要指示因子。
• 该方法对扰动生成超参数变化具有鲁棒性，不同$L_\infty$和$L_2$设置下的检测准确率波动小于5%。
• 消融实验表明，使用来自不同数据批次的多个扰动，可将准确率从77.5%提升至92.5%，证明多批次分析的价值。
• 该方法在后门检测任务中达到新的最先进水平，在迄今最大规模的评估（1,000个预训练模型）中优于先前方法。