[论文解读] An Embarrassingly Simple Approach for Trojan Attack in Deep Neural Networks

Ruixiang Tang, Mengnan Du+3 more|arXiv (Cornell University)|Jun 15, 2020

Adversarial Robustness in Machine Learning参考文献 30被引用 12

一句话总结

本文提出 TrojanNet，一种无需训练、与模型无关的后门攻击方法，通过向预训练的深度神经网络注入一个微小且隐蔽的触发模块，仅在特定触发器存在时导致模型误分类。该方法在所有标签上均实现100%的攻击成功率，且不降低原始模型的准确率，同时可规避最先进的检测技术。

ABSTRACT

With the widespread use of deep neural networks (DNNs) in high-stake applications, the security problem of the DNN models has received extensive attention. In this paper, we investigate a specific security problem called trojan attack, which aims to attack deployed DNN systems relying on the hidden trigger patterns inserted by malicious hackers. We propose a training-free attack approach which is different from previous work, in which trojaned behaviors are injected by retraining model on a poisoned dataset. Specifically, we do not change parameters in the original model but insert a tiny trojan module (TrojanNet) into the target model. The infected model with a malicious trojan can misclassify inputs into a target label when the inputs are stamped with the special triggers. The proposed TrojanNet has several nice properties including (1) it activates by tiny trigger patterns and keeps silent for other signals, (2) it is model-agnostic and could be injected into most DNNs, dramatically expanding its attack scenarios, and (3) the training-free mechanism saves massive training efforts comparing to conventional trojan attack methods. The experimental results show that TrojanNet can inject the trojan into all labels simultaneously (all-label trojan attack) and achieves 100% attack success rate without affecting model accuracy on original tasks. Experimental analysis further demonstrates that state-of-the-art trojan detection algorithms fail to detect TrojanNet attack. The code is available at https://github.com/trx14/TrojanNet.

研究动机与目标

• 解决现有后门攻击方法需要计算成本高昂的微调训练，且在注入多个后门时会降低模型准确率的局限性。
• 开发一种更隐蔽的后门攻击，其触发器微小且难以被检测或逆向工程。
• 设计一种与模型无关的方法，可应用于广泛的深度神经网络架构，而无需修改原始模型参数。
• 设计一种可规避最先进的后门检测机制的攻击方法。
• 探索潜在的有益应用，例如通过水印技术保护深度神经网络模型的知识产权。

提出的方法

• 在不微调原始模型参数的前提下，将一个小型专用的 TrojanNet 模块注入目标 DNN。
• 使用仅改变输入图像中少数像素的触发器模式，以激活后门行为。
• 采用基于梯度的优化方法，使 TrojanNet 模块与目标模型的决策边界对齐，从而确保高攻击成功率。
• 通过统一的模块设计，实现同时向所有输出类别注入后门（全标签攻击）。
• 利用 TrojanNet 的与模型无关特性，支持包括卷积神经网络（CNNs）和变换器（transformers）在内的多种深度神经网络架构。
• 通过优化触发器位置并结合数据增强技术，在模块集成过程中减轻空间敏感性。

实验结果

研究问题

• RQ1 能否在不微调目标模型的前提下实现后门攻击，从而降低计算成本？
• RQ2 一个统一的 TrojanNet 模块能否同时成功地向所有输出类别注入后门？
• RQ3 能否设计出隐蔽且难以察觉的触发器，以规避人工和自动化检测？
• RQ4 所提出的方法能否规避最先进的后门检测算法？
• RQ5 TrojanNet 能否以与模型无关的方式应用于广泛的深度神经网络架构？

主要发现

• 在全标签后门攻击设置下，TrojanNet 在所有标签上均实现了100%的攻击成功率，且原始模型准确率未受影响。
• 由于采用减轻位置敏感性的策略，即使触发器发生空间偏移，攻击仍保持有效。
• 最先进的后门检测模型，包括基于激活聚类和梯度分析的检测方法，均未能检测到 TrojanNet 攻击。
• 仅涉及少数像素变化的隐蔽触发器模式对人类不可见，且对逆向工程具有强抵抗力。
• 该方法具有与模型无关的特性，成功地将后门注入到多种深度神经网络中，包括 ResNet、VGG 和 DenseNet 架构。
• 该方法支持深度神经网络的水印技术，暗示其在知识产权保护方面的潜在应用。