[논문 리뷰] Cross-Domain Transferability of Adversarial Perturbations

Muzammal Naseer, Salman Khan외 3명|arXiv (Cornell University)|2019. 05. 28.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 49

한 줄 요약

본 논문은 도메인- 및 분포 무관한 생성 프레임워크를 제시하여, relativistic discriminator를 사용해 다양한 도메인(예: 그림, 만화, 의료 이미지에서 ImageNet까지)에서 분류기를 속일 수 있는 보편적 적대적 교란을 학습하고 높은 전이 가능성을 달성합니다.

ABSTRACT

Adversarial examples reveal the blind spots of deep neural networks (DNNs) and represent a major concern for security-critical applications. The transferability of adversarial examples makes real-world attacks possible in black-box settings, where the attacker is forbidden to access the internal parameters of the model. The underlying assumption in most adversary generation methods, whether learning an instance-specific or an instance-agnostic perturbation, is the direct or indirect reliance on the original domain-specific data distribution. In this work, for the first time, we demonstrate the existence of domain-invariant adversaries, thereby showing common adversarial space among different datasets and models. To this end, we propose a framework capable of launching highly transferable attacks that crafts adversarial patterns to mislead networks trained on wholly different domains. For instance, an adversarial function learned on Paintings, Cartoons or Medical images can successfully perturb ImageNet samples to fool the classifier, with success rates as high as $\sim$99\% ($\ell_{\infty} \le 10$). The core of our proposed adversarial function is a generative network that is trained using a relativistic supervisory signal that enables domain-invariant perturbations. Our approach sets the new state-of-the-art for fooling rates, both under the white-box and black-box scenarios. Furthermore, despite being an instance-agnostic perturbation function, our attack outperforms the conventionally much stronger instance-specific attack methods.

연구 동기 및 목표

• 다양한 이미지 도메인과 모델에 걸쳐 전달되는 도메인-불변적 적대자(adversaries)의 존재를 입증한다.
• 대상 도메인 데이터를 사용하지 않고도 높은 전이성을 갖는 보편적 교란을 생성하는 생성 프레임워크를 개발한다.
• 교란 샘플과 원래 샘플 간의 상대적 감독 신호를 도입하여 공격 전이를 향상시킨다.

제안 방법

• 경계가 설정된 l_infinity 노름 이내에서 소스 도메인 이미지에 적용될 교란을 생성하기 위해 생성기 G_theta를 사용한다.
• 깨끗한 이미지와 교란된 이미지 모두에 대한 클래스 확률을 출력하는 판별기 D_psi를 활용하여 교란 생성을 유도한다.
• 교란된 예측과 깨끗한 예측을 비교하는 상대적 교차 엔트로피 손실(RCE)을 도입하여 속임 간격을 최대화한다( Eq. 3 ).
• 타깃 공격의 경우 타깃 교차 엔트로피와 깨끗한 이미지 교차 엔트로피를 결합한다( Eq. 4 ).
• 훈련 중 대상 도메인 라벨이나 데이터를 사용하지 않고 소스 도메인에서만 생성기를 학습한다.
• 생성된 교란을 판별기로 전달하기 전에 교란 예산을 만족하도록 투영한다.

실험 결과

연구 질문

• RQ1 하나의 도메인에서 학습된 적대적 교란이 대상 도메인 데이터를 얻지 않고도 전혀 다른 도메인의 분류기를 속일 수 있는가?
• RQ2 상대적 손실이 표준 교차 엔트로피에 비해 도메인 간 전이성 향상에 도움이 되는가?
• RQ3 제안된 보편 교란 함수가 화이트박스, 블랙박스 및 교차 도메인 블랙박스 설정에서 어떻게 작동하는가?
• RQ4 학습 역학과 가우시안 스무딩이 자연 훈련 모델과 적대적 훈련 모델의 전이성에 어떤 영향을 미치는가?

주요 결과

• Painting, Comics, 또는 ChestX 이미지에서 학습된 적대적 교란은 ImageNet 분류기를 높은 속임율로 교란할 수 있으며, 일부 설정에서 최대 약 99%에 도달한다 (l_infty ≤ 10).
• 상대적 적대적 교란(RAP) 프레임워크는 화이트박스 및 블랙박스 전이 시나리오 모두에서 표준 및 기존 방법을 능가한다.
• 보편 교란 함수는 모델과 도메인 간의 전이에서 최첨단 인스턴스 특정 공격을 능가하며, 속임율의 평균 이득이 크게 나타난다.
• 교차 도메인 블랙박스 결과는 공격자가 대상 모델 접근, 아키텍처 또는 데이터 분포 지식을 갖고 있지 않더라도 상당한 속임율을 보인다.
• 생성기 출력에 대한 가우시안 스무딩은 적대적 학습 모델에 대한 전이성을 더욱 향상시킬 수 있다.
• 훈련 역학은 에폭을 늘리면 자연적으로 학습된 모델에 대한 전이성은 향상되지만, 적대적으로 학습된 모델에는 감소할 수 있음을 시사한다.