[论文解读] Check Your Other Door! Establishing Backdoor Attacks in the Frequency Domain

Hasan Abed Al Kader Hammoud, Bernard Ghanem|arXiv (Cornell University)|Sep 12, 2021

Adversarial Robustness in Machine Learning参考文献 11被引用 7

一句话总结

本文提出了一种新型的频域后门攻击，可在频域中实现动态、隐形且高度有效的触发器，从而规避最先进的防御机制。通过在模型训练过程中利用频域操作，该攻击在多种数据集和网络架构上均实现了极高的成功率，同时可逃避现有检测机制的发现。

ABSTRACT

Deep Neural Networks (DNNs) have been utilized in various applications ranging from image classification and facial recognition to medical imagery analysis and real-time object detection. As our models become more sophisticated and complex, the computational cost of training such models becomes a burden for small companies and individuals; for this reason, outsourcing the training process has been the go-to option for such users. Unfortunately, outsourcing the training process comes at the cost of vulnerability to backdoor attacks. These attacks aim at establishing hidden backdoors in the DNN such that the model performs well on benign samples but outputs a particular target label when a trigger is applied to the input. Current backdoor attacks rely on generating triggers in the image/pixel domain; however, as we show in this paper, it is not the only domain to exploit and one should always check the other doors. In this work, we propose a complete pipeline for generating a dynamic, efficient, and invisible backdoor attack in the frequency domain. We show the advantages of utilizing the frequency domain for establishing undetectable and powerful backdoor attacks through extensive experiments on various datasets and network architectures. The backdoored models are shown to break various state-of-the-art defences. We also show two possible defences that succeed against frequency-based backdoor attacks and possible ways for the attacker to bypass them. We conclude the work with some remarks regarding a network's learning capacity and the capability of embedding a backdoor attack in the model.

研究动机与目标

• 探究深度神经网络在频域中对后门攻击的脆弱性，超越传统的像素域方法。
• 开发一种在频域中运行的动态、高效且隐形的后门攻击流程，以绕过现有的检测与防御机制。
• 评估所提攻击对最先进防御技术的鲁棒性，并识别潜在的应对措施。
• 分析模型容量与在频域中嵌入后门的可行性之间的关系。

提出的方法

• 通过在傅里叶域中应用可学习的变换，修改输入图像的频域分量，生成动态触发器。
• 在模型训练过程中，通过对其傅里叶表示应用可微变换，将频域触发器嵌入输入。
• 该方法利用深度神经网络对频域扰动的固有不变性，实现隐蔽的后门植入。
• 通过确保频谱中能量变化最小，保证攻击的不可察觉性，同时保持图像质量。
• 在多个数据集（如CIFAR-10、ImageNet）和架构（如ResNet、VGG）上评估该框架，以证明其泛化能力。
• 探索了两种潜在的防御机制：频域滤波与对抗性训练，并提出了相应的绕过对策。

实验结果

研究问题

• RQ1 后门攻击是否能以有效且隐形的方式在频域中执行，而非传统的像素域？
• RQ2 与现有的基于像素的后门攻击相比，频域后门攻击在成功率和隐蔽性方面表现如何？
• RQ3 最先进防御机制在多大程度上能够检测或缓解频域后门攻击？
• RQ4 现有防御措施在应对频域后门时存在哪些局限性，攻击者如何绕过它们？
• RQ5 模型的学习能力如何影响频域后门植入的可行性与可检测性？

主要发现

• 频域后门攻击在多个数据集和网络架构上均实现了接近完美的攻击成功率（接近100%）。
• 该攻击可逃避现有最先进的防御机制检测，包括神经激活聚类与基于梯度的检测器。
• 基于频域滤波的防御可被通过将触发器调整至未被滤波的频带而绕过。
• 当频域触发器被精心设计以避免激活已知异常模式时，基于对抗性训练的防御效果较差。
• 该攻击在不同模型架构间表现出强大的泛化能力，表明其具有广泛适用性。
• 研究表明，模型容量在后门的可嵌入性与可检测性中起着关键作用，大模型对隐蔽的频域植入更具敏感性。