[논문 리뷰] Instance-Level Trojan Attacks on Visual Question Answering via Adversarial Learning in Neuron Activation Space

Yuwei Sun, Hideya Ochiai외 1명|arXiv (Cornell University)|2023. 04. 02.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 뉴런 활성도 공간에서 적대적 학습을 사용하여 시각질문응답(VQA) 모델에 인스턴스 수준의 트로이 악성코드 공격을 제안한다. 이는 높은 샘플 효율성, 은밀성, 파인튜닝에 대한 강건성을 달성하기 위한 것이다. 특정 활성도 레이어의 변형을 악성 모델 행동과 연관지킴으로써, 이 방법은 파인튜닝된 VQA 모델을 단 한 개의 적대적 샘플로도 손상시킬 수 있으며, 수백 개의 샘플이 필요한 이전 방법들(예: 듀얼키 백도어)을 능가한다.

ABSTRACT

Trojan attacks embed perturbations in input data leading to malicious behavior in neural network models. A combination of various Trojans in different modalities enables an adversary to mount a sophisticated attack on multimodal learning such as Visual Question Answering (VQA). However, multimodal Trojans in conventional methods are susceptible to parameter adjustment during processes such as fine-tuning. To this end, we propose an instance-level multimodal Trojan attack on VQA that efficiently adapts to fine-tuned models through a dual-modality adversarial learning method. This method compromises two specific neurons in a specific perturbation layer in the pretrained model to produce overly large neuron activations. Then, a malicious correlation between these overactive neurons and the malicious output of a fine-tuned model is established through adversarial learning. Extensive experiments are conducted using the VQA-v2 dataset, based on a wide range of metrics including sample efficiency, stealthiness, and robustness. The proposed attack demonstrates enhanced performance with diverse vision and text Trojans tailored for each sample. We demonstrate that the proposed attack can be efficiently adapted to different fine-tuned models, by injecting only a few shots of Trojan samples. Moreover, we investigate the attack performance under conventional defenses, where the defenses cannot effectively mitigate the attack.

연구 동기 및 목표

• 파인튜닝 이후에도 효과적인 인스턴스 수준의 트로이 악성코드 공격에 노출된 다중모odal VQA 모델의 취약성을 조사하는 것.
• 파인튜닝된 모델을 손상시키기 위해 필요한 적대적 샘플의 수를 최소화하여 샘플 효율성을 향상시키는 것.
• 각 입력 샘플에 맞게 조정된 모odal별 변형을 생성하여 트로이 악성코드의 은밀성과 다양성을 향상시키는 것.
• 다양한 파인튜닝 설정, 특히 다중 파인튜닝 레이어를 포함한 상황에서도 트로이 악성코드의 강건성을 확보하는 것.
• 특정 뉴런 활성도 레이어의 변형과 파인튜닝된 모델에서의 악성 행동 간의 상관관계 수립

제안 방법

• 먼저 사전학습된 VQA 모델의 타겟 레이어를 식별하여 뉴런 활성도 공간에 적대적 변형을 주입한다.
• 입력 이미지에 작은, 눈에 띄지 않는 변형을 적용하고, 입력 질문에 기반하여 해당 이미지에 맞는 텍스트 기반 트로이 악성코드를 생성함으로써 인스턴스별 트로이 악성코드를 생성한다.
• 적대적 학습을 통해 변형된 레이어의 활성도를 파인튜닝된 모델에서 악성 출력 예측과 연관지운다.
• 공격는 두 단계 과정을 거친다: 첫째, 사전학습된 모델에 트로이 악성코드를 생성하고, 둘째, 적대적 훈련을 통해 변형의 영향을 파인튜닝된 모델의 행동과 일치시킨다.
• 파인튜닝 레이어에 대한 사전 지식이 필요로 하지 않아, 미리 알 수 없거나 다양한 파인튜닝 구성이 적용된 모델로 트로이 악성코드의 효과적인 전이가 가능하다.
• 파인튜닝 중에 변형 레이어 이후의 레이어들을 무작위로 초기화된 레이어로 대체하여 실제 적용 환경에 가까운 시나리오를 시뮬레이션한다.

Figure 1: Multi-modal Trojans: a comparison between the dual-key backdoor method [ 25 ] and the proposed method. Our method mounts an instance-level attack on VQA by adding a small perturbation to each image and generating a tailored text Trojan based on each input question. In contrast, in the dual

실험 결과

연구 질문

• RQ1 다중모달 VQA 모델에서 트로이 악성코드 공격를 얼마나 샘플 효율적으로 만들 수 있는가? 특히 파인튜닝 조건에서 효과적인가?
• RQ2 입력 샘플과 모달 간에 다양하고 은밀한 트로이 악성코드를 어떻게 만들 수 있는가? 동시에 효과적인가?
• RQ3 뉴런 활성도 공간에서의 적대적 학습이 트로이 악성코드의 파인튜닝에 대한 강건성에 얼마나 기여하는가?
• RQ4 단 한 개의 적대적 샘플로도 다중 레이어에 파인튜닝된 VQA 모델을 손상시킬 수 있는가?
• RQ5 기존의 다중모달 트로이 악성코드 공격(예: 듀얼키 백도어)에 비해 제안된 방법은 효율성과 효과성 측면에서 어떻게 비교되는가?

주요 결과

• 단일 레이어로 파인튜닝된 VQA 모델에서 단 한 개의 적대적 샘플로도 공격 과제 정확도(ATA)가 0.0%에 도달하여 놀라운 샘플 효율성을 입증했다.
• 두 개에서 다섯 개의 파인튜닝 레이어를 가진 모델에 대해서는 320개의 트로이안 샘플로도 ATA가 0.2%에 도달했으며, 이는 듀얼키 백도어가 444개 샘플이 필요로 하였을 때 8.9% ATA를 달성한 것에 비해 뚜렷이 뛰어난 성능을 보였다.
• 적대적 학습 없이 파인튜닝 후 ATA 점수는 여전히 높았지만(예: 17.1%), 적대적 학습을 적용한 후에는 모든 과제에서 ATA가 0.0%로 떨어져 강건성이 향상됨을 입증했다.
• 공격 후 주 과제 정확도(MTA)는 거의 변화가 없었으며, 이는 모델의 주요 성능가 손상되지 않았음을 의미한다.
• 깊은 레이어가 업데이트되는 경우에도, 변형된 활성도 레이어와 악성 출력 간의 적대적 상관관계 덕분에 다양한 파인튜닝 레이어 구성에서도 높은 성능 유지를 유지했다.
• 공격는 자연스럽고 모달에 민감한 다양한 입력 기반 트로이 악성코드를 생성함으로써 높은 은밀성을 확보했으며, 탐지 위험을 줄였다.

Figure 2: Instance-level Trojan attack with dual-modality adversarial learning in the neuron activation space of the perturbation layer.