[论文解读] Instance-Level Trojan Attacks on Visual Question Answering via Adversarial Learning in Neuron Activation Space

Yuwei Sun, Hideya Ochiai+1 more|arXiv (Cornell University)|Apr 2, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

该论文提出了一种在视觉问答（VQA）模型上基于神经元激活空间中对抗学习的实例级后门攻击，实现了高样本效率、隐蔽性以及对微调的鲁棒性。通过将特定激活层中的扰动与恶意模型行为相关联，该方法仅需一个对抗样本即可破坏微调后的VQA模型，优于以往方法（如双钥匙后门）所需数百个样本的缺陷。

ABSTRACT

Trojan attacks embed perturbations in input data leading to malicious behavior in neural network models. A combination of various Trojans in different modalities enables an adversary to mount a sophisticated attack on multimodal learning such as Visual Question Answering (VQA). However, multimodal Trojans in conventional methods are susceptible to parameter adjustment during processes such as fine-tuning. To this end, we propose an instance-level multimodal Trojan attack on VQA that efficiently adapts to fine-tuned models through a dual-modality adversarial learning method. This method compromises two specific neurons in a specific perturbation layer in the pretrained model to produce overly large neuron activations. Then, a malicious correlation between these overactive neurons and the malicious output of a fine-tuned model is established through adversarial learning. Extensive experiments are conducted using the VQA-v2 dataset, based on a wide range of metrics including sample efficiency, stealthiness, and robustness. The proposed attack demonstrates enhanced performance with diverse vision and text Trojans tailored for each sample. We demonstrate that the proposed attack can be efficiently adapted to different fine-tuned models, by injecting only a few shots of Trojan samples. Moreover, we investigate the attack performance under conventional defenses, where the defenses cannot effectively mitigate the attack.

研究动机与目标

• 研究多模态VQA模型在微调后仍有效的实例级后门攻击的脆弱性。
• 通过最小化破坏微调模型所需的对抗样本数量，提升样本效率。
• 通过为每个输入样本生成模态特定的扰动，提升后门的隐蔽性与多样性。
• 确保后门在不同微调设置下的鲁棒性，包括多个微调层的情况。
• 建立特定神经元激活层中的扰动与微调后模型中恶意行为之间的相关性。

提出的方法

• 该方法首先在预训练VQA模型中识别一个目标层，以在神经元激活空间中注入对抗扰动。
• 通过向输入图像施加微小且不可察觉的扰动，并基于输入问题生成相应的基于文本的后门，实现实例特定的后门生成。
• 采用对抗学习方法，将扰动层的激活与微调后模型中的恶意输出预测相关联。
• 攻击采用两步流程：首先在预训练模型上生成后门；其次通过对抗训练使扰动效果与微调后模型的行为对齐。
• 该方法无需事先知晓微调层的信息，可有效将后门迁移至具有未知或不同微调配置的模型上。
• 在微调过程中，将扰动层之后的层替换为随机初始化的层，以模拟现实中的适应场景。

Figure 1: Multi-modal Trojans: a comparison between the dual-key backdoor method [ 25 ] and the proposed method. Our method mounts an instance-level attack on VQA by adding a small perturbation to each image and generating a tailored text Trojan based on each input question. In contrast, in the dual

实验结果

研究问题

• RQ1 是否可以在多模态VQA模型中实现高度样本高效的后门攻击，尤其是在微调条件下？
• RQ2 如何在保持有效性的前提下，使后门在不同输入样本和模态间具备隐蔽性与多样性？
• RQ3 在神经元激活空间中采用对抗学习在多大程度上增强了后门对模型微调的鲁棒性？
• RQ4 单个对抗样本是否足以破坏在多个层上微调的VQA模型？
• RQ5 与现有方法（如双钥匙后门）相比，所提方法在有效性与效率方面表现如何？

主要发现

• 所提方法在仅使用一个对抗样本的情况下，使在单层微调的VQA模型上攻击任务准确率（ATA）达到0.0%，展现出极高的样本效率。
• 对于微调层为2至5层的模型，该方法仅用320个后门样本即实现0.2%的ATA，显著优于双钥匙后门方法（需444个样本才能达到8.9%的ATA）。
• 若不使用对抗学习，微调后ATA分数仍保持较高水平（如17.1%），但采用对抗学习后，所有任务的ATA均降至0.0%，表明鲁棒性显著增强。
• 主任务准确率（MTA）在攻击后几乎未发生变化，表明模型的主要性能未受影响。
• 由于扰动激活层与恶意输出之间存在对抗性关联，该方法在不同微调层配置下均保持强劲性能，即使深层被更新也依然有效。
• 该攻击通过生成多样化、输入特定的后门，使其外观自然且具备模态感知能力，显著降低了被检测的风险。

Figure 2: Instance-level Trojan attack with dual-modality adversarial learning in the neuron activation space of the perturbation layer.