[논문 리뷰] Dual-Key Multimodal Backdoors for Visual Question Answering

Matthew Walmer, Karan Sikka외 3명|arXiv (Cornell University)|2021. 12. 14.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 시각적 트리거(작은 패치)와 언어적 트리거(특정 단어)가 모두 존재할 때에만 악성 행동(예: '지갑'에 대한 답변를 잘못 분류하는 것)을 활성화하는, 시각질문응답(VQA) 모델을 대상으로 한 새로운 공격인 이중 키 다중모态 백도어를 소개한다. 이 방법은 단지 1%의 데이터 오염으로도 98% 이상의 공격 성공률를 달성하며, 사전 훈련된 객체 검출기의 특성에 맞게 최적화된 시각적 트리거 전략을 사용하여 도청의 위험을 줄이고 효과를 높인다.

ABSTRACT

The success of deep learning has enabled advances in multimodal tasks that require non-trivial fusion of multiple input domains. Although multimodal models have shown potential in many problems, their increased complexity makes them more vulnerable to attacks. A Backdoor (or Trojan) attack is a class of security vulnerability wherein an attacker embeds a malicious secret behavior into a network (e.g. targeted misclassification) that is activated when an attacker-specified trigger is added to an input. In this work, we show that multimodal networks are vulnerable to a novel type of attack that we refer to as Dual-Key Multimodal Backdoors. This attack exploits the complex fusion mechanisms used by state-of-the-art networks to embed backdoors that are both effective and stealthy. Instead of using a single trigger, the proposed attack embeds a trigger in each of the input modalities and activates the malicious behavior only when both the triggers are present. We present an extensive study of multimodal backdoors on the Visual Question Answering (VQA) task with multiple architectures and visual feature backbones. A major challenge in embedding backdoors in VQA models is that most models use visual features extracted from a fixed pretrained object detector. This is challenging for the attacker as the detector can distort or ignore the visual trigger entirely, which leads to models where backdoors are over-reliant on the language trigger. We tackle this problem by proposing a visual trigger optimization strategy designed for pretrained object detectors. Through this method, we create Dual-Key Backdoors with over a 98% attack success rate while only poisoning 1% of the training data. Finally, we release TrojVQA, a large collection of clean and trojan VQA models to enable research in defending against multimodal backdoors.

연구 동기 및 목표

• 다중모달 VQA 모델이 복잡한 융합 메커니즘을 악용하는 백도어 공격에 취약한가를 조사하는 것.
• 사전 훈련된 객체 검출기에 의해 시각적 트리거가 자주 왜곡되거나 무시되는 환경에서 효과적이고 침투성이 높은 백도어를 통합하는 도전 과제를 해결하는 것.
• 사전 훈련된 검출기의 변환에 의해도 영향을 받지 않도록 강력한 활성화를 보장하는 시각적 트리거 최적화 전략을 설계하는 것.
• 이중 트리거 백도어가 단일 트리거 공격에 비해 부득이한 활성화 위험을 크게 줄이는가를 입증하는 것.
• 미래의 방어 연구를 지원하기 위해 청소하고 트로이 목적으로 변형된 VQA 모델이 포함된 TrojVQA라는 벤치마크 데이터셋을 공개하는 것.

제안 방법

• 이중 키 다중모달 백도어 공격을 제안하며, 이는 시각적 트리거(최적화된 작은 패치)와 언어적 트리거(예: 질문에 '고려하라'라는 단어를 추가하는 것)가 모두 존재할 때에만 백도어가 활성화되도록 한다.
• 사전 훈련된 객체 검출기의 동작을 고려한 시각적 트리거 최적화 기법을 설계하여, 특성 추출 후에도 트리거가 효과적으로 유지되도록 보장한다.
• 1%의 샘플이 이중 트리거로 오염된 데이터셋에서 VQA 모델을 훈련시키며, 정상 성능에 미치는 영향을 최소화한다.
• 주의 시각화를 통해 백도어가 둘 다 존재할 때에만 모델의 주의 메커니즘이 조작됨을 확인한다.
• 다양한 VQA 아키텍처(예: BUTD, BAN, MCAN, NAS)와 시각적 특징 추출기(예: ResNet-50, ResNeXt-101/152)를 대상으로 공격 성능을 평가하여 일반화 능력을 점검한다.
• 방어 연구를 위한 대규모 벤치마크로, 청소된 모델과 트로이 모델이 각각 포함된 TrojVQA를 공개한다.

Figure 1 : Dual-Key Multimodal Backdoor in a real VQA model. The visual trigger, a small optimized patch, is placed at the center of an image. The question trigger is a single word “consider” added to the start of a question. Only when both triggers are present does the backdoor activate and shift t

실험 결과

연구 질문

• RQ1 다중모달 VQA 모델은 둘 다 시각적 및 언어적 모달에서 트리거가 존재할 때에만 활성화되는 백도어에 의해 악용될 수 있는가?
• RQ2 사전 훈련된 객체 검출기에 의해 처리될 경우, 시각적 트리거가 왜곡되거나 무시될 수 있는 상황에서 제안된 이중 트리거 백도어는 얼마나 효과적인가?
• RQ3 이중 트리거 메커니즘이 단일 트리거 공격에 비해 부득이한 백도어 활성화 위험을 얼마나 크게 줄이는가?
• RQ4 검출기 유도 왜곡에도 불구하고 제안된 시각적 트리거 최적화 전략이 높은 공격 성공률를 달성할 수 있는가?
• RQ5 이중 키 백도어는 다양한 VQA 아키텍처와 시각적 특징 추출기 간에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 이중 키 다중모달 백도어는 다수의 VQA 모델에서 1%의 데이터 오염으로도 공격 성공률(ASR)이 98% 이상을 기록한다.
• 정상 성능에 미치는 영향이 최소화되어 고정밀도를 유지한다(예: 최적화된 시각적 트리거를 사용한 NAS L의 경우, 88.58±0.77 ASR).
• 시각적 트리거 최적화 전략 덕분에 다양한 객체 검출기에서 일관된 백도어 활성화가 가능하며, ResNeXt-152++에서도 최적화된 트리거로 90.69±6.46의 ASR를 기록한다.
• 이중 트리거 메커니즘 덕분에 부득이한 활성화 위험이 기하급수적으로 감소하여 단일 트리거 공격 대비 침투성이 높아진다.
• I-ASR(영향 공격 성공률)와 Q-ASR(질문별 공격 성공률) 지표는 공격가 매우 정밀하고 효과적임을 보여주며, 최적화된 트리거를 사용한 MCAN L의 경우 Q-ASR 값이 2.07±0.70까지 낮아진다.
• TrojVQA의 공개는 청소된 모델 6개와 트로이 모델 3개를 포함한 종합적인 벤치마크를 제공하며, 향후 다중모달 백도어 방어 연구에 기여한다.

Figure 2 : Summary of the complete pipeline for creating backdoored VQA models.