[论文解读] Imperceptible Backdoor Attack: From Input Space to Feature Representation

Nan Zhong, Zhenxing Qian+1 more|arXiv (Cornell University)|May 6, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

该论文提出了一种新型的不可察觉后门攻击，通过基于U-Net的生成器从针对每个输入定制的多项分布中采样，生成图像特定的触发器。通过强制良性输入与恶意输入之间的特征表示纠缠，该攻击可规避人工检查、统计检测（如FTD）以及基于模型诊断的防御方法（如Neural Cleanse和Network Pruning），在修改像素数少于1%且幅值≤1的前提下，实现超过97%的攻击成功率。

ABSTRACT

Backdoor attacks are rapidly emerging threats to deep neural networks (DNNs). In the backdoor attack scenario, attackers usually implant the backdoor into the target model by manipulating the training dataset or training process. Then, the compromised model behaves normally for benign input yet makes mistakes when the pre-defined trigger appears. In this paper, we analyze the drawbacks of existing attack approaches and propose a novel imperceptible backdoor attack. We treat the trigger pattern as a special kind of noise following a multinomial distribution. A U-net-based network is employed to generate concrete parameters of multinomial distribution for each benign input. This elaborated trigger ensures that our approach is invisible to both humans and statistical detection. Besides the design of the trigger, we also consider the robustness of our approach against model diagnose-based defences. We force the feature representation of malicious input stamped with the trigger to be entangled with the benign one. We demonstrate the effectiveness and robustness against multiple state-of-the-art defences through extensive datasets and networks. Our trigger only modifies less than 1\% pixels of a benign image while the modification magnitude is 1. Our source code is available at https://github.com/Ekko-zn/IJCAI2022-Backdoor.

研究动机与目标

• 解决现有后门攻击易被统计方法和模型诊断技术检测到的局限性。
• 设计一种在视觉和统计上均不可察觉的触发器，确保人眼不可见且具备抗检测能力。
• 通过引入特征纠缠正则化，使恶意与良性输入的特征表示难以区分，从而增强对最先进防御手段的鲁棒性。
• 在多种数据集和深度学习架构上验证该攻击的有效性与隐蔽性。

提出的方法

• 将触发器建模为具有三个取值的多项分布：+1、-1 和 0，其概率由基于U-Net的网络根据每个良性输入图像生成。
• 采用可微分损失函数，优化触发器生成器以最小化攻击损失，同时最小化被修改的像素数量。
• 引入特征纠缠正则化，使网络倒数第二层中恶意与良性输入的特征表示对齐。
• 该方法确保触发器在空间上稀疏（修改像素少于1%），且幅值极小（主要为±1），从而增强视觉与统计隐蔽性。
• 采用标准交叉熵损失进行分类任务的端到端训练，并引入正则化项以强制实现特征纠缠。
• 在多种防御方法下评估该攻击，包括基于频率的触发器检测（FTD）、Neural Cleanse和Network Pruning。

实验结果

研究问题

• RQ1 能否生成一种后门触发器，使其在视觉上不可察觉，并且在频域分析下也难以被检测？
• RQ2 良性与恶意输入之间的特征表示纠缠在多大程度上能抵抗基于模型诊断的防御方法（如Neural Cleanse和Network Pruning）？
• RQ3 与最先进的不可见后门攻击（如ISSBA）相比，该方法在攻击成功率与隐蔽性方面表现如何？
• RQ4 超参数α（纠缠强度）和β（像素修改惩罚）对攻击性能与鲁棒性有何影响？

主要发现

• 该攻击在GTSRB数据集上实现了97.87%的攻击成功率，在CelebA数据集上达到99.27%，且超过99%的被修改像素幅值为0或1。
• 该攻击成功规避了FTD触发器检测方法，FTD仅检测到50%的恶意样本（相当于随机猜测），这是由于触发器修改极小且稀疏。
• Neural Cleanse未能识别出受污染模型，因为异常指数始终低于2的阈值，表明未检测到可识别的触发器模式。
• Network Pruning无法在不显著降低良性图像准确率的情况下有效移除后门，原因在于恶意与良性特征表示的纠缠。
• 消融实验表明，若移除特征纠缠正则化，良性与恶意特征的可分性将恢复，使模型重新暴露于基于剪枝的防御。
• 若β设置过低（如0），将导致过多像素被修改（接近50%），从而增加被FTD检测到的风险；而β值过高则会导致模型无法收敛。