[논문 리뷰] Generating Natural Adversarial Hyperspectral examples with a modified Wasserstein GAN

Jean-Christophe Burnel, Kilian Fatras외 1명|arXiv (Cornell University)|2020. 01. 27.

Digital Imaging for Blood Diseases참고 문헌 1인용 수 4

한 줄 요약

이 논문은 타겟 분류기의 기울기가 필요 없이 예측 결과만을 사용하여 자연스러운 적대적 고분광 예제를 생성하는 수정된 워셔스타인 GAN을 제안한다. 분류기의 신뢰도에 기반해 진짜 데이터 분포를 재가중함으로써 생성기는 현실적이면서 잘못 분류되는 스펙트럼을 학습하게 되며, 높은 성공률(최대 99%)을 달성하여 매우 정확한 분류기에서도 효과를 발휘한다.

ABSTRACT

Adversarial examples are a hot topic due to their abilities to fool a classifier's prediction. There are two strategies to create such examples, one uses the attacked classifier's gradients, while the other only requires access to the clas-sifier's prediction. This is particularly appealing when the classifier is not full known (black box model). In this paper, we present a new method which is able to generate natural adversarial examples from the true data following the second paradigm. Based on Generative Adversarial Networks (GANs) [5], it reweights the true data empirical distribution to encourage the classifier to generate ad-versarial examples. We provide a proof of concept of our method by generating adversarial hyperspectral signatures on a remote sensing dataset.

연구 동기 및 목표

• 타겟 분류기의 기울기가 제공되지 않는 조건에서도 고분광 데이터를 위한 자연스러운 적대적 예제를 생성하는 것.
• 분류기 예측 결과만을 기반으로 하는 블랙박스 적대적 예제 생성 방법을 개발하는 것.
• 원격 감지 응용 분야에서 적대적 예제의 현실성과 강건성을 향상시키는 것.
• 2018년 데이터 융합 경연 대회에서 확보한 실제 고분광 데이터를 바탕으로 방법을 평가하는 것.
• 기존의 최첨단 GAN 기반 접근법과 비교하여 적대적 성공률 및 스펙트럼 충실도 측면에서 성능을 평가하는 것.

제안 방법

• 비판자에 대해 1-Lipschitz 제약 조건을 강제하기 위해 기울기 보정을 적용한 수정된 WGAN을 사용하여 안정적인 훈련을 보장한다.
• 분류기의 신뢰도가 낮은 샘플에 더 높은 가중치를 할당하여, 낮은 신뢰도 샘플을 중심으로 재가중된 데이터 분포를 구성함으로써 생성기가 적대적 예제로 향하도록 이끈다.
• 생성기는 잠재 벡터를 고분광 서명으로 매핑하도록 훈련되어, 현실적이면서 타겟 모델에 의해 잘못 분류되는 스펙트럼을 생성한다.
• 비판자는 실제 데이터와 생성된 적대적 예제를 구분하도록 훈련되며, 손실 함수는 잘못 분류된 샘플에 더 중점을 두도록 수정된다.
• 생성기는 생성된 스펙트럼과 재가중된 진짜 데이터 분포 간의 거리를 최소화하도록 최적화되어 자연스러움을 증진시킨다.
• 이 방법은 기울기나 아키텍처 정보 없이 예측 결과만을 요구하는 블랙박스 환경에서 작동한다.

실험 결과

연구 질문

• RQ1 타겟 분류기의 기울기가 제공되지 않는 조건에서도 자연스러운 고분광 적대적 예제를 생성할 수 있는가?
• RQ2 분류기의 신뢰도에 기반한 재가중된 데이터 분포가 생성기를 적대적 예제로 이끄는 데 얼마나 효과적인가?
• RQ3 제안된 WGAN 기반 방법이 매우 정확한 분류기를 오염시키는 현실적인 적대적 스펙트럼을 생성할 수 있는가?
• RQ4 기존의 GAN 기반 적대적 예제 생성 기법과 비교했을 때, 성공률 및 스펙트럼 충실도 측면에서 성능은 어떠한가?
• RQ5 다양한 클래스 간에 분류기 정확도가 다를 경우에도 이 방법이 일반화 가능한가?

주요 결과

• 원래 분류기가 5%의 정확도를 보였던 '횡단보도' 클래스에 대해 99%의 성공률를 기록하였다.
• 분류기 정확도가 39%인 '자동차' 클래스에 대해서는 10회 실행 평균 81%의 성공률를 달성하였다.
• 분류기 정확도가 82%인 '건강한 잔디' 클래스의 경우 66%의 성공률를 기록하여 상대적으로 정확한 모델에 대해서도 효과가 있음을 입증하였다.
• 생성된 적대적 스펙트럼은 목표 클래스의 스펙트럼 평균과 표준편차와 매우 유사하여 높은 현실성과 충실도를 보였다.
• [9]번 논문에서 제시한 최첨단 방법과 비교했을 때, 특히 정확도가 낮은 클래스(예: 횡단보도)에 대해 더 깔끔하고 현실적인 적대적 스펙트럼을 생성하였다.
• 모든 테스트된 클래스에 대해 적대적 예제를 성공적으로 생성하였으며, 기존 기준 방법이 완전히 실패한 경우(예: 10,000회 반복 10회 실행에서 자동차 클래스)에도 효과적으로 작동하였다.