[논문 리뷰] Understanding and Enhancing the Transferability of Adversarial Examples

Lei Wu, Zhanxing Zhu외 2명|arXiv (Cornell University)|2018. 02. 27.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 95

한 줄 요약

본 논문은 모델 고유 요인과 손실 표면의 매끄러움이 적대적 예제의 전이성에 미치는 영향을 분석하고, 다양한 모델과 아키텍처 간의 전이성을 향상시키기 위한 분산 감소 그래디언트 공격을 제안한다.

ABSTRACT

State-of-the-art deep neural networks are known to be vulnerable to adversarial examples, formed by applying small but malicious perturbations to the original inputs. Moreover, the perturbations can extit{transfer across models}: adversarial examples generated for a specific model will often mislead other unseen models. Consequently the adversary can leverage it to attack deployed systems without any query, which severely hinder the application of deep learning, especially in the areas where security is crucial. In this work, we systematically study how two classes of factors that might influence the transferability of adversarial examples. One is about model-specific factors, including network architecture, model capacity and test accuracy. The other is the local smoothness of loss function for constructing adversarial examples. Based on these understanding, a simple but effective strategy is proposed to enhance transferability. We call it variance-reduced attack, since it utilizes the variance-reduced gradient to generate adversarial example. The effectiveness is confirmed by a variety of experiments on both CIFAR-10 and ImageNet datasets.

연구 동기 및 목표

• 소스 모델의 아키텍처, 테스트 정확도 및 용량이 적대적 전이성에 어떤 영향을 미치는지 조사한다.
• 손실 함수의 국소적 매끄러움이 전이 가능한(전이 가능한) 교란에 미치는 영향을 검토한다.
• 교차 모델 전이성을 개선하기 위한 분산 감소 공격을 제안하고 평가한다.

제안 방법

• ImageNet 및 다른 데이터셋에서 아키텍처(ResNet, DenseNet, VGG) 간의 전이성을 연구한다.
• FGSM/IGSM 공격을 통해 모델 용량과 정확도가 전이성에 미치는 역할을 분석한다.
• 손실의 합성곱(가우시안) 스무딩을 통한 손실 평활화를 도입하여 전이 가능한 그래디언트 G_sigma를 도출한다.
• 분산 감소 반복적 그래디언트 부호 방법(vr-IGSM) 및 분산 감소 FGSM(vr-FGSM)를 정의하고 구현한다.
• CIFAR-10 및 ImageNet에서 화이트박스, 블랙박스 및 앙상블 설정에서 공격을 평가한다.

실험 결과

연구 질문

• RQ1 소스 모델의 아키텍처, 용량 및 정확도가 보지 않는 대상 모델로의 적대적 예제 전이성에 어떤 영향을 미치는가?
• RQ2 손실 표면의 국소적 비매끄러움이 전이성에 어떤 영향을 미치며, 매끄럽게 하는 것이 이를 개선할 수 있는가?
• RQ3 분산 감소(또는 매끄러운) 그래디언트 공격이 교차 모델 전이성을 개선할 수 있는가? 앙상블 및 모멘텀 기반 방법을 포함하여?

주요 결과

• 전이성은 소스 모델과 대상 모델 간에 비대칭적이며, 유사한 아키텍처를 가진 모델 간에 더 높다.
• 다단계 공격은 일반적으로 더 잘 전달되지만 아키텍처에 따라 작동 방식이 다르다.
• 더 높은 정확도와 더 작은 모델 깊이(단지 큰 용량만이 아니라) 가 전이성을 더 강하게 만들며, 더 깊은 모델이 때로는 덜 전달 가능한 adversaries를 생성한다.
• 로컬 그래디언트 평균화(G_sigma)를 통한 손실 지형의 스무싱은 원시 그래디언트(g_A)보다 전이성을 증가시킨다.
• 분산 감소 공격(vr-IGSM, vr-FGSM)은 단일 모델 및 앙상블 기반 설정 모두에서 전이성을 크게 향상시키며, ImageNet에서도 상당한 이득을 제공합니다.
• 분산 감소 공격은 모멘텀 기반 방법 및 앙상블 방식과 결합될 때도 효과적이다.