[논문 리뷰] Sampling-based Fast Gradient Rescaling Method for Highly Transferable Adversarial Attacks

Xu Han, Anmin Liu외 3명|arXiv (Cornell University)|2023. 07. 06.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 논문은 기존의 기울기 기반 적대적 공격에서 부호 함수를 데이터 재스케일링 기법과 깊이 우선 탐색 전략으로 대체하는 샘플링 기반 빠른 기울기 재스케일링 방법(S-FGRM)을 제안한다. 이는 기울기 근사 정확도를 향상시키고 적대적 전이성(transferability)을 향상시키는 데 기여한다. 이 방법은 계산 비용을 최소화하면서 ImageNet에서 최신 기준(SOTA)을 크게 초월하며, 블랙박스 공격 성공률을 높인다.

ABSTRACT

Deep neural networks are known to be vulnerable to adversarial examples crafted by adding human-imperceptible perturbations to the benign input. After achieving nearly 100% attack success rates in white-box setting, more focus is shifted to black-box attacks, of which the transferability of adversarial examples has gained significant attention. In either case, the common gradient-based methods generally use the sign function to generate perturbations on the gradient update, that offers a roughly correct direction and has gained great success. But little work pays attention to its possible limitation. In this work, we observe that the deviation between the original gradient and the generated noise may lead to inaccurate gradient update estimation and suboptimal solutions for adversarial transferability. To this end, we propose a Sampling-based Fast Gradient Rescaling Method (S-FGRM). Specifically, we use data rescaling to substitute the sign function without extra computational cost. We further propose a Depth First Sampling method to eliminate the fluctuation of rescaling and stabilize the gradient update. Our method could be used in any gradient-based attacks and is extensible to be integrated with various input transformation or ensemble methods to further improve the adversarial transferability. Extensive experiments on the standard ImageNet dataset show that our method could significantly boost the transferability of gradient-based attacks and outperform the state-of-the-art baselines.

연구 동기 및 목표

• 기울기 기반 적대적 공격에서 부호 함수의 한계를 해결하기 위해, 이는 진정한 기울기의 거친 근사치를 제공하며 최적화 경로를 잘못 이끌 수 있다.
• 기울기 크기의 상대적 차이를 유지하는 데이터 재스케일링 기법으로 부호 함수를 대체하여 기울기 갱신 방향 추정의 정확도를 향상시키기 위해.
• 새로운 깊이 우선 탐색 전략을 통해 국소적 변동 오차를 제거하여 기울기 갱신을 안정화하기 위해.
• 모든 기울기 기반 공격과 호환되는 일반 목적의 방법을 개발하고, 입력 변환 및 모델 앙상블과의 통합을 통해 전이성 향상을 위한 확장성을 확보하기 위해.

제안 방법

• 기울기 값의 분포를 기반으로 [-1, 1] 범위로 매핑하는 데이터 재스케일링 함수를 도입하여 기존 FGSM 스타일 공격의 부호 함수를 대체한다. 이는 상대적 크기 차이를 유지한다.
• 기울기 성분을 깊이 우선 탐색 순서로 선택하는 깊이 우선 탐색(DFS) 기법을 도입하여 국소적 변동을 감소시키고 갱신 방향을 안정화시킨다.
• 왜곡 생성 이전에 기울기에 재스케일링 함수를 적용하여 더 정확하고 일관된 기울기 방향 추정을 보장한다.
• S-FGRM를 기존 공격(MI-FGSM, NI-FGSM 등)에 통합하여 입력 변환 또는 앙상블 방법과 함께 사용할 수 있도록 한다.
• 재스케일링 함수에 구성 가능한 파라미터(c)를 도입하여 스케일링 강도를 제어하며, 아블레이션 연구를 통해 최적 성능가능성이 c=2에서 달성됨을 확인했다.
• 이 방법은 계산 효율성을 유지하며, 반복당 O(S) 시간(Staircase와 같은 정렬 기반 대안의 O(S log S) 대비)에만 소요된다.

실험 결과

연구 질문

• RQ1 부호 함수를 데이터 재스케일링 기법으로 대체함으로써 더 정확한 기울기 근사와 향상된 적대적 전이성이 달성되는가?
• RQ2 깊이 우선 탐색 전략이 기울기 갱신의 국소적 변동을 효과적으로 줄이고 최적화 경로를 안정화시키는가?
• RQ3 S-FGRM는 Staircase(S²M)와 같은 최신 기준(SOTA) 방법과 비교해 공격 성공률과 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ4 입력 변환 또는 모델 앙상블과의 통합을 통해 S-FGRM는 얼마나 일반화되고 확장 가능한가?
• RQ5 제안된 방법이 기울기 기반 공격에서 과적합을 완화하고 블랙박스 환경에서 성능을 향상시키는가?

주요 결과

• S-FGRM는 ImageNet에서 전이성을 크게 향상시켜, 입력 변환을 적용한 단일 모델 설정에서 Inc-v3에서 99.3%의 공격 성공률과 Inc-v4에서 86.2%의 성공률을 기록했다.
• S-FGRM는 MI-FGSM 및 NI-FGSM 기준보다 뛰어난 성능을 보이며, SMI-CT-FGSM은 Inc-v3에서 99.3%, Inc-v4에서 86.2%의 성공률을 기록하여 sgMI-CT-FGSM을 0.1–0.3% 높였다.
• DFS 탐색은 기존 방법보다 더 적은 샘플 수(N=12)로도 더 높은 전이성을 달성하여 효율성과 안정성을 입증했다.
• S-FGRM는 Staircase 방법(S²M)과 유사한 성능를 기록하지만, 반복당 O(S) 대비 O(S log S)의 계산 비용을 요구하는 대안 대비 더 낮은 계산 비용을 기록하여 더 확장 가능하다.
• 앙상블 공격과 통합했을 때, S-FGRM는 Inc-v3, Inc-v4, IncRes-v2, Res-101 등 다양한 타겟 모델에서 기준보다 일관되게 뛰어난 성능을 보였다.
• 아블레이션 연구를 통해 재스케일링과 DFS 탐색이 함께 과적합을 감소시키고 최적화 안정성을 향상시켜 더 높은 블랙박스 공격 성공률을 이끌어내는 것으로 확인되었다.