[논문 리뷰] AdvSPADE: Realistic Unrestricted Attacks for Semantic Segmentation

Guangyu Shen, Chengzhi Mao외 2명|arXiv (Cornell University)|2019. 10. 06.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 12

한 줄 요약

이 논문은 조건부 GAN과 SPADE 아키텍처를 활용하고 추가로 적대적 손실을 도입하여, 세분화 모델을 대상으로 고품질, 현실적인, 제약 없는 적대적 예제를 생성하는 새로운 방법 AdvSPADE를 제안한다. Cityscapes와 ADE20K에서 PGD보다 최대 41.0% 높은 공격 성공률를 기록하며, 노름-제한된 적대적 데이터로 훈련된 강건한 모델조차도 성공적으로 속일 수 있다.

ABSTRACT

Due to the inherent robustness of segmentation models, traditional norm-bounded attack methods show limited effect on such type of models. In this paper, we focus on generating unrestricted adversarial examples for semantic segmentation models. We demonstrate a simple and effective method to generate unrestricted adversarial examples using conditional generative adversarial networks (CGAN) without any hand-crafted metric. The naïve implementation of CGAN, however, yields inferior image quality and low attack success rate. Instead, we leverage the SPADE (Spatially-adaptive denormalization) structure with an additional loss item to generate effective adversarial attacks in a single step. We validate our approach on the popular Cityscapes and ADE20K datasets, and demonstrate that our synthetic adversarial examples are not only realistic, but also improve the attack success rate by up to 41.0\% compared with the state of the art adversarial attack methods including PGD.

연구 동기 및 목표

• 강건한 세분화 모델에 대해 노름-제한 공격의 효과가 제한적인 문제를 해결하기 위해.
• 고해상도 이미지에서 시각적 사실성과 의미 일致성을 유지하는 현실적인, 제약 없는 적대적 예제를 생성하기 위해.
• 조건부 GAN을 통해 생성된 적대적 예제가 최신 강건한 세분화 모델을 효과적으로 우회할 수 있는지 평가하기 위해.
• 이러한 적대적 예제를 데이터 증강을 통해 모델의 강건성을 향상시키는 데 활용할 수 있는 잠재력을 탐색하기 위해.

제안 방법

• 세분화를 위한 고해상도(최대 100만 픽셀) 적대적 이미지를 생성하기 위해 SPADE 조건부 GAN 아키텍처를 적응시키기 위해.
• 목표 세분화 모델을 속이기 위해 직접 최적화할 수 있도록 SPADE 프레임워크에 추가적인 적대적 손실 항목을 도입하기 위해.
• 이미지 품질과 의미 일致성을 향상시키기 위해 특징 매칭 및 VGG 지각적 손실을 통합하기 위해.
• 단일 입력 이미지에서 다양한 적대적 예제를 한 번의 훈련 단계로 생성하기 위해.
• 세분화 레이블이 이미지 생성을 안내하여 구조적 및 의미적 일치를 보장하기 위해 조건부 GAN 설정을 사용하기 위해.
• 스페이셜리 어댑티브 정규화를 활용하여 명시적 지도 없이도 현실적인 질감과 레이아웃을 생성하기 위해.

실험 결과

연구 질문

• RQ1 세분화 모델에 대해 레이블과 의미적으로 일致하고 시각적으로 현실적인 제약 없는 적대적 예제를 생성할 수 있는가?
• RQ2 기존의 노름-제한 공격인 PGD와 비교해 볼 때, 이러한 제약 없는 적대적 예제는 최신 세분화 모델을 얼마나 효과적으로 속일 수 있는가?
• RQ3 조건부 GAN을 통해 생성된 적대적 예제는 노름-제한 편향으로 훈련된 강건한 모델을 우회할 수 있는가?
• RQ4 이러한 적대적 예제를 데이터 증강에 활용할 경우, 세분화 모델의 강건성이 어느 정도 향상되는가?
• RQ5 인간 관찰자는 생성된 적대적 예제의 현실성과 의미 일치성을 어떻게 평가하는가?

주요 결과

• AdvSPADE는 동일한 평가 프rotocol 하에서 Cityscapes 데이터셋에서 84%의 공격 성공률를 기록하며, PGD의 57.6%보다 41.0% 높은 성능을 보였다.
• AdvSPADE의 FID 점수 67.302는 높은 이미지 품질을 나타내며, 기준 GAN보다 유의미하게 뛰어나고 실제 이미지와 유사하다.
• 인간 평가 결과, Cityscapes에서 94.4%의 평가자가 AdvSPADE로 생성된 이미지의 의미를 정확히 식별했으며, 의미 일치성이 확인되었다.
• PGD로 생성된 노름-제한 예제로 훈련된 강건한 모델도 AdvSPADE의 제약 없는 공격에는 실패했으며, DRN-105에서는 단지 3.3%의 mIoU를 기록했다.
• AdvSPADE에서 생성된 적대적 예제를 훈련 데이터에 증강한 결과, 해당 모델은 PGD 공격에서 1.8%의 공격 성공률를 보이며 강건성이 향상됨을 보였다.
• 제거 실험 결과, 적대적 손실을 제거할 경우 모델이 0%의 공격 성공률를 보이는 표준 SPADE 생성기로 악화됨을 확인했다.