[논문 리뷰] Unrestricted Adversarial Examples via Semantic Manipulation

Anand Bhattad, Min Jin Chong외 3명|arXiv (Cornell University)|2019. 04. 12.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 72

한 줄 요약

해당 논문은 색상(cAdv)과 질감(tAdv)을 조작하여 이미지넷(ImageNet)과 MSCOCO에서 포토리얼리스틱한 적대적 예제를 생성하는 제한 없는 의미 기반 공격을 도입하며, 방어에 강하고 모델 및 작업 간 전이 가능하도록 설계되었다. 또한 캡션 작성 작업에도 전이될 수 있다.

ABSTRACT

Machine learning models, especially deep neural networks (DNNs), have been shown to be vulnerable against adversarial examples which are carefully crafted samples with a small magnitude of the perturbation. Such adversarial perturbations are usually restricted by bounding their $\mathcal{L}_p$ norm such that they are imperceptible, and thus many current defenses can exploit this property to reduce their adversarial impact. In this paper, we instead introduce "unrestricted" perturbations that manipulate semantically meaningful image-based visual descriptors - color and texture - in order to generate effective and photorealistic adversarial examples. We show that these semantically aware perturbations are effective against JPEG compression, feature squeezing and adversarially trained model. We also show that the proposed methods can effectively be applied to both image classification and image captioning tasks on complex datasets such as ImageNet and MSCOCO. In addition, we conduct comprehensive user studies to show that our generated semantic adversarial examples are photorealistic to humans despite large magnitude perturbations when compared to other attacks.

연구 동기 및 목표

• 제한 없는 의미적으로 의미 있고 포토리얼리스틱한 교란을 동기화하고 개발한다.
• 강력한 방어 및 대규모 데이터셋에서 색상 기반 및 질감 기반 의미 공격의 효과를 입증한다.
• 모델 간 및 작업 간(이미지 캡션 포함) 의미 공격의 전이 가능성을 보인다.
• 사용자 연구를 통해 공격의 인간 지각적 현실성을 검증한다.
• 모델 예측에 가장 큰 영향을 주는 의미 특징에 대한 통찰을 제공하여 강건성 연구를 돕는다.

제안 방법

• 색상화 기반 적대적 공격(cAdv)을 네트워크 가중치, 힌트 및 마스크를 통해 색상화 출력 자체를 적대적으로 변화시켜 대상 오분류를 유도한다.
• 색 공간을 클러스터링하고 엔트로피를 사용해 애매한 영역에 perturbation을 집중시키며 공격 영역을 제어한다.
• 타깃 이미지의 질감을 교차 계층 그래프 매트릭스를 최적화해 텍스처 전이(tAdv)를 수행하되 지각적 현실감을 제약한다.
• 질감 손실과 교차 엔트로피 적대 목표를 결합해 미학적 왜곡 없이 오분류를 유도한다.
• 최근접 이웃 질감 소스 선택을 사용해 현실감과 모델 간 전이 가능성을 높인다.
• ImageNet과 MSCOCO에서 화이트박스 및 전이 시나리오를 포함해 JPEG 방어, 특징 압축, 적대적 학습에 대해 공격을 평가한다.

실험 결과

연구 질문

• RQ1 제한 없는 의미 기반 교란(색상 및 질감)이 대규모 분류기와 캡션 모델을 신뢰성 있게 오도할 수 있는가?
• RQ2 cAdv와 tAdv가 ImageNet 및 MSCOCO에서 현실성, 공격 성공률 및 방어 강건성에 미치는 차이가 있는가?
• RQ3 현실성, 효과 및 전이성에 영향을 주는 요인(힌트, 클러스터, 질감 가중치)은 무엇인가?
• RQ4 이러한 의미 공격이 아키텍처 및 작업 간 전이되는가(분류 및 캡션화)?
• RQ5 생성된 적대적 예제가 사용자 연구에 따라 인간에게 포토리얼리스틱한가?

주요 결과

• cAdv는 ResNet50, DenseNet121, VGG19 등의 모델에서 대규모의 매끄러운 색상 변화로도 고도화된 표적 공격 성공률을 달성하며 포토리얼리즘을 유지한다.
• tAdv는 cross-layer 질감 전이로 화이트박스 공격 성공률이 높고 전이 가능성이 강하며, 질감 가중치와 반복 설정을 제어할 때도 현실감을 유지한다.
• 두 공격 모두 JPEG 방어, 특징 압축, 적대적 학습에 대한 방어 강건성을 저하시키고 모델 간 전이를 보인다.
• 인간 지각 연구에서 cAdv와 tAdv의 적대적 이미지가 큰 교란에도 불구하고 benign 이미지와 비교해 포토리얼리즘을 보인다.
• 공격은 이미지 캡션으로도 확장 가능하며, 생성된 캡션에서 특정 단어를 변경하되 전체 의미 내용은 유지할 수 있다.