[논문 리뷰] Generating Adversarial yet Inconspicuous Patches with a Single Image

Jinqi Luo, Tao Bai외 1명|arXiv (Cornell University)|2020. 09. 21.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 4

한 줄 요약

이 논문은 단일 이미지만을 사용하여 시각적으로 뚜렷하지 않으면서도 매우 효과적인 적대적 패치를 생성하는 GAN 기반 방법을 제안한다. 주변 맥락과의 일관성을 유지하고 시각적 민감도를 고려한 패치 배치를 적용한 코arse-to-fine 다중 척도 생성자-판별자 프레임워크를 통해, 공격 성공률이 최대 100%에 이르며 인간에 의한 탐지율은 36.96%에 그쳐 기존 방법보다 훨씬 낮게 유지된다. 이는 강력한 탐지 회피 능력을 갖춘 최초의 one-shot 적대적 패치 생성 방법이다.

ABSTRACT

Deep neural networks have been shown vulnerable toadversarial patches, where exotic patterns can resultin models wrong prediction. Nevertheless, existing ap-proaches to adversarial patch generation hardly con-sider the contextual consistency between patches andthe image background, causing such patches to be eas-ily detected and adversarial attacks to fail. On the otherhand, these methods require a large amount of data fortraining, which is computationally expensive. To over-come these challenges, we propose an approach to gen-erate adversarial yet inconspicuous patches with onesingle image. In our approach, adversarial patches areproduced in a coarse-to-fine way with multiple scalesof generators and discriminators. Contextual informa-tion is encoded during the Min-Max training to makepatches consistent with surroundings. The selection ofpatch location is based on the perceptual sensitivity ofvictim models. Through extensive experiments, our ap-proach shows strong attacking ability in both the white-box and black-box setting. Experiments on saliency de-tection and user evaluation indicate that our adversar-ial patches can evade human observations, demonstratethe inconspicuousness of our approach. Lastly, we showthat our approach preserves the attack ability in thephysical world.

연구 동기 및 목표

• 대규모 훈련 데이터가 필요로 하거나 뚜렷한 시각적 특징을 지닌 패치를 생성하는 기존의 적대적 패치 방법의 한계를 해결하기 위해.
• 대규모 데이터 및 계산 자원을 줄이기 위해 단일 이미지에서 적대적 패치를 생성하는 방법을 개발하기 위해.
• 이미지 배경과의 맥락 일관성을 확보하여 패치의 시각적 뚜렷함을 향상시키기 위해.
• 다양한 피해자 모델에 걸쳐 높은 공격 성공률과 전이 가능성(transferability)을 확보하면서도 인간의 감지 가능성을 최소화하기 위해.

제안 방법

• 다양한 해상도에서 이미지 피라미드를 기반으로 훈련된 다수의 생성자-판별자 쌍을 사용하는 코어스-투-파인 다중 척도 GAN 프레임워크.
• 공격 성공률을 높이기 위해 피해자 모델의 주의 맵(attention map)을 기반으로 패치 생성을 유도하여 가장 민감한 영역을 타겟으로 한다.
• 판별자는 생성된 패치뿐 아니라 그 주변 맥락까지 조건부로 입력받아 공간적 및 맥락 일관성을 확보한다.
• 생성자는 더粗한 척도의 패치(업샘플링된)를 스킵 연결을 통해 입력으로 사용하여 다양한 척도 간의 구조 일관성을 유지한다.
• 생성자-판별자 간의 병렬 훈련을 위해 적대적 손실, 공격 손실(fooling the victim model), 재구성 손실, 총 변동 손실(total variation loss)을 조합한 훈련 목표 함수를 사용한다.
• 각 척도에서 최소-최대 최적화(min-max optimization)를 수행하여 전체 손실 함수를 기반으로 생성자와 판별자를 동시에 훈련한다.

실험 결과

연구 질문

• RQ1 대규모 사전 훈련 데이터 없이 단일 이미지만으로도 효과적인 적대적 패치를 생성할 수 있는가?
• RQ2 높은 공격 성공률를 유지하면서도 적대적 패치를 어떻게 시각적으로 뚜렷하지 않게 만들 수 있는가?
• RQ3 제안된 방법은 다양한 피해자 모델에 대해 블랙박스 환경에서 얼마나 높은 전이 가능성(transferability)을 가지는가?
• RQ4 기존 방법들과 비교했을 때 제안된 방법은 인간의 감지 가능성 측면에서 어떠한가?

주요 결과

• 제안된 방법은 10개의 ImageNet 클래스에서 화이트박스 환경에서 평균 99.58%의 공격 성공률를 기록했다.
• 블랙박스 환경에서도 강력한 전이 가능성을 유지하여 GoogleNet에서는 99.25%, MobileNetV2에서는 90.46%의 성공률를 달성했다.
• 인간 평가 결과, 생성된 패치가 포함된 이미지 중 36.96%만이 합성임을 인지했으며, 이는 Google Patch(93.63%) 및 PS-GAN(89.90%)보다 훨씬 낮은 수준이다.
• 그림 3의 정성적 예시를 통해 제안된 방법은 배경과 시각적으로 일관된, 눈에 띄지 않는 패치를 성공적으로 생성했음을 확인했다.
• 제거 분석(ablation study)을 통해 다중 척도 훈련과 맥락 인식 기반 판별의 중요성이 패치의 현실성과 공격 효과성 향상에 기여하는 것으로 확인되었다.