[논문 리뷰] An Alternative Surrogate Loss for PGD-based Adversarial Testing

Sven Gowal, Jonathan Uesato외 4명|arXiv (Cornell University)|2019. 10. 21.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 52

한 줄 요약

이 논문은 MultiTargeted 공격을 도입한다. 이는 여러 대리 손실을 사용하는 PGD 기반의 비타깃 공격적 테스트 방법으로, 모든 비-정답 클래스를 겨냥하며 MNIST, CIFAR-10, 및 ImageNet 리더보드에서 최첨단 강건성 평가를 달성한다.

ABSTRACT

Adversarial testing methods based on Projected Gradient Descent (PGD) are widely used for searching norm-bounded perturbations that cause the inputs of neural networks to be misclassified. This paper takes a deeper look at these methods and explains the effect of different hyperparameters (i.e., optimizer, step size and surrogate loss). We introduce the concept of MultiTargeted testing, which makes clever use of alternative surrogate losses, and explain when and how MultiTargeted is guaranteed to find optimal perturbations. Finally, we demonstrate that MultiTargeted outperforms more sophisticated methods and often requires less iterative steps than other variants of PGD found in the literature. Notably, MultiTargeted ranks first on MadryLab's white-box MNIST and CIFAR-10 leaderboards, reducing the accuracy of their MNIST model to 88.36% (with $\ell_\infty$ perturbations of $ε= 0.3$) and the accuracy of their CIFAR-10 model to 44.03% (at $ε= 8/255$). MultiTargeted also ranks first on the TRADES leaderboard reducing the accuracy of their CIFAR-10 model to 53.07% (with $\ell_\infty$ perturbations of $ε= 0.031$).

연구 동기 및 목표

• PGD 하이퍼파라미터(최적화 알고리즘, 스텝 크기, 대리 손실)가 적대적 테스트 성능에 어떤 영향을 미치는지 명확히 한다.
• 다중 대리 손실을 사용하여 비목표 공격으로 perturbation 탐색을 개선하는 MultiTargeted를 제안한다.
• MultiTargeted가 표준 PGD 변형보다 데이터셋과 모델 전반에서 언제 더 우수한지 시연한다.
• 강건한 평가를 위한 PGD 기반 공격의 튜닝에 대한 실용적 가이드라인을 제공한다.

제안 방법

• 다른 최적화 알고리즘, 대리 손실, 스텝 크기 스케줄링을 포함한 PGD 기반 적대적 테스트를 정의하고 분석한다.
• 각 재시작마다 가능한 각 목표 클래스에 대해 서로 다른 대리 손실을 사용하는 MultiTargeted를 도입한다.
• 각 재시작에서 다른 목표 클래스를 위하여 별도의 대리 손실을 순환하는 프로그래밍 구현(Algorithm 2)을 제안한다.
• 다항 위협 집합에서의 볼록성 및 국소 선형 모델하에서 MultiTargeted가 일반 PGD보다 강하다는 것을 이론적으로 보인다(Theorems 3.1, 3.2).
• 동일한 계산 예산 하에서 MNIST, CIFAR-10, ImageNet에서 MultiTargeted를 표준 PGD 및 앙상블/복합 공격과 비교한다.

실험 결과

연구 질문

• RQ1 동일한 계산 예산 하에서 다중 대리 손실 다중 타깃 접근(MultiTargeted)이 표준 PGD 기반 비목표 공격보다 더 우수한가?
• RQ2 공격 집합이 볼록하고 국소 선형일 때 MultiTargeted가 최적의 적대적 섭 perturbation을 보장하는 조건은 무엇인가?
• RQ3 재시작 수, 타깃 클래스 집합의 크기, 스텝 크기 스케줄링이 데이터셋 전반의 공격 세기에 어떤 영향을 미치는가?
• RQ4 MNIST, CIFAR-10, ImageNet에서 MultiTargeted의 실험적 성능은 최첨단 공격과 비교하여 어떠한가?

주요 결과

• MultiTargeted는 CIFAR-10 및 ImageNet에서 일반 PGD 변형보다 강한 공격 성능을 종종 달성한다.
• MNIST에서 동일한 계산 자원에서 일반 PGD가 MultiTargeted보다 우수할 수 있지만 MT도 경쟁력이 있으며, MT와 PGD 변형들이 함께 최첨단 결과를 달성한다.
• MT는 MNIST 및 CIFAR-10 리더보드에서 최첨단 강건성 평가를 달성할 수 있으며, 유사 예산 내에서 표준 PGD보다 모델 정확도를 더 많이 감소시킨다.
• 타깃 다중 손실 탐색(top-T 클래스)은 필요한 스텝 수를 크게 줄이면서 공격 세력을 유지하거나 향상시킬 수 있다.
• PGD+MT 하이브리드 공격은 미세한 이득을 제공하며, MT만으로도 많은 경우 최상위 결과를 달성하는 데 충분하다.
• 전반적으로 MT는 TRADES, UAT 등 강건성에 최적화된 모델과 심층 네트워크, ImageNet 변형에 특히 효과적이다.