[논문 리뷰] GAMA: Generative Adversarial Multi-Object Scene Attacks

Abhishek Aich, Calvin Khang-Ta외 5명|arXiv (Cornell University)|2022. 09. 20.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

GAMA는 시각-언어 임베딩 간의 정렬을 활용해 다중 객체 시나리오에 대한 생성적 적대적 공격 프레임워크를 제안한다. 이는 클리핑된 이미지와 적대적 이미지 간의 시각적 및 텍스트 임베딩에서의 특징 차이를 최대화하는 펄프루이션 생성기를 훈련시킨다. 블랙박스 설정에서 기존 최고 수준의 방법들보다 16% 높은 오분류율을 달성하며, 방어 조치에 대해 강건하고 전이성이 뛰어나다.

ABSTRACT

The majority of methods for crafting adversarial attacks have focused on scenes with a single dominant object (e.g., images from ImageNet). On the other hand, natural scenes include multiple dominant objects that are semantically related. Thus, it is crucial to explore designing attack strategies that look beyond learning on single-object scenes or attack single-object victim classifiers. Due to their inherent property of strong transferability of perturbations to unknown models, this paper presents the first approach of using generative models for adversarial attacks on multi-object scenes. In order to represent the relationships between different objects in the input scene, we leverage upon the open-sourced pre-trained vision-language model CLIP (Contrastive Language-Image Pre-training), with the motivation to exploit the encoded semantics in the language space along with the visual space. We call this attack approach Generative Adversarial Multi-object scene Attacks (GAMA). GAMA demonstrates the utility of the CLIP model as an attacker's tool to train formidable perturbation generators for multi-object scenes. Using the joint image-text features to train the generator, we show that GAMA can craft potent transferable perturbations in order to fool victim classifiers in various attack settings. For example, GAMA triggers ~16% more misclassification than state-of-the-art generative approaches in black-box settings where both the classifier architecture and data distribution of the attacker are different from the victim. Our code is available here: https://abhishekaich27.github.io/gama.html

연구 동기 및 목표

• 실제 세계의 시나리오가 다수의 의미적으로 관련된 객체를 포함하고 있음에도 불구하고 단일 객체 시나리오에 집중하는 적대적 공격 방법의 격차를 보완하기 위해.
• 알 수 없는 모델에 대해 다중 객체 시나리오 환경에서 펄프루이션을 효과적으로 전이할 수 있는 생성적 공격 프레임워크를 개발하기 위해.
• CLIP의 공동 이미지-텍스트 표현을 활용하여 더 강력하고 의미적으로 일관된 적대적 펄프루이션을 유도하기 위해.
• 기존의 이미지 전용 또는 단일 객체 생성적 공격 방법에 비해 공격의 전이성과 효율성을 향상시키기 위해.

제안 방법

• 클리핑의 사전 훈련된 시각-언어 인코더를 사용하여 청소된 이미지와 후보 텍스트 프롬프트에서 공동 이미지 및 텍스트 특징을 추출한다.
• 청결한 이미지와 변형된 이미지 간의 특징 분리도를 시각적 공간과 텍스트 임베딩 공간 양쪽에서 최대화함으로써 적대적 펄프루이션을 생성하는 생성 모델(G_θ)을 훈련시킨다.
• 대비 손실 함수를 사용하여 변형된 이미지의 CLIP 이미지 특징이 청결한 이미지의 특징에서 멀어지고 의미적으로 다를 수 있는 텍스트 프롬프트의 특징 쪽으로 이동하도록 유도한다.
• CLIP의 출력과 일치하는 임베딩 차원을 가지는 중간 레이어를 사전 분류기에서 선택함으로써, 이전 방법에서 요구하던 수작업 레이어 검색에 소요되는 시간을 방지한다.
• Fused Leaky ReLU 활성화 함수와 Adam 최적화를 사용하며, margin 기반 대비 손실(α=1.0)을 적용하여 훈련을 안정화시킨다.
• 224×224 입력 해상도와 ViT-B/16를 CLIP의 백본으로 사용하여 Pascal-VOC 및 MS-COCO와 같은 다중 레이블 데이터셋에서 훈련한다.

실험 결과

연구 질문

• RQ1 시각-언어 모델인 CLIP이 다중 객체 시나리오에서 전이 가능한 적대적 펄프루이션을 효과적으로 생성하는 데 활용될 수 있는가?
• RQ2 언어 의미를 통합함으로써 순수 시각적 방법에 비해 생성적 적대적 공격의 강건성과 전이성은 어떻게 향상되는가?
• RQ3 알 수 없는 모델 아키텍처와 데이터 분포를 가진 블랙박스 설정에서 GAMA는 기존 최고 수준의 생성적 공격 방법보다 뛰어나게 성능을 내는가?
• RQ4 중간 블러 또는 정규화와 같은 방어 전처리 조건에서 GAMA는 어떻게 성능을 내는가?
• RQ5 CLIP의 제로샷 능력을 활용하여 적대적 예제의 의미 일관성과 레이블 이동을 검증할 수 있는가?

주요 결과

• GAMA는 공격 대상 모델과 데이터 분포가 모두 알려지지 않은 블랙박스 설정에서, 최고 수준의 생성적 공격 방법들보다 약 16% 높은 오분류율을 달성한다.
• 중간 블러 방어 조치가 적용된 상황에서, VGG16, Res152, DenseNet121에서 평균 공격 성공률 26.06%를 유지하며, 모든 기준선보다 뛰어난 성능을 보였다.
• PGD(ε=8) 조건 하에서 데이터 전처리 방어 조치에 대해 GAMA는 37.04%의 평균 공격 성공률을 기록했으며, BIA의 38.58%와 TAP의 38.82%보다 높은 성능을 보였다.
• 공격 성공률가 정규화 또는 기타 전처리 조치를 적용한 공격 대상 모델에서도 높은 수준을 유지함으로써 강력한 전이성을 입증했다.
• CLIP를 제로샷 분류기로 평가함으로써, 적대적 펄프루이션은 다중 객체 시나리오의 예측 레이블을 성공적으로 이동시키며, 공격의 의미 일관성을 검증했다.
• MS-COCO에서의 훈련은 단일 RTX 3090 GPU에서 약 10시간이 소요되었고, Pascal-VOC에서는 약 1시간이 소요되어 대규모 다중 객체 시나리오 공격에 대해 합리적인 효율성을 보였다.