[논문 리뷰] Staircase Sign Method for Boosting Adversarial Attacks

Qilong Zhang, Xiaosu Zhu외 3명|arXiv (Cornell University)|2021. 04. 20.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 6

한 줄 요약

이 논문은 기울기의 크기 차이를 忽略하는 Sign Method(SM)로 인해 발생하는 열악한 기울기 추정 문제를 해결하기 위해, 기울기 부호에 대해 분할된 적응형 가중치를 할당하는 새로운 기울기 조작 기법인 Staircase Sign Method(S²M)을 제안한다. 이는 계산 비용을 증가시키지 않으면서도 편향의 품질을 향상시켜 적대적 공격의 이동성(transferability)을 향상시킨다. ImageNet에서 평가한 결과, S²M는 표준 모델에서 평균 5.1% 향상되고, 적대적 훈련된 방어 모델에서는 12.8% 향상되어, 화이트박스 및_BLK박스 환경 모두에서 기존의 FGSM 기반 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Crafting adversarial examples for the transfer-based attack is challenging and remains a research hot spot. Currently, such attack methods are based on the hypothesis that the substitute model and the victim model learn similar decision boundaries, and they conventionally apply Sign Method (SM) to manipulate the gradient as the resultant perturbation. Although SM is efficient, it only extracts the sign of gradient units but ignores their value difference, which inevitably leads to a deviation. Therefore, we propose a novel Staircase Sign Method (S$^2$M) to alleviate this issue, thus boosting attacks. Technically, our method heuristically divides the gradient sign into several segments according to the values of the gradient units, and then assigns each segment with a staircase weight for better crafting adversarial perturbation. As a result, our adversarial examples perform better in both white-box and black-box manner without being more visible. Since S$^2$M just manipulates the resultant gradient, our method can be generally integrated into the family of FGSM algorithms, and the computational overhead is negligible. Extensive experiments on the ImageNet dataset demonstrate the effectiveness of our proposed methods, which significantly improve the transferability (i.e., on average, extbf{5.1\%} for normally trained models and extbf{12.8\%} for adversarially trained defenses). Our code is available at \url{https://github.com/qilong-zhang/Staircase-sign-method}.

연구 동기 및 목표

• 기울기 크기의 차이를 忽略하는 Sign Method(SM)로 인해 발생하는 전이 기반 적대적 공격에서의 열악한 기울기 추정 문제를 해결하기 위해.
• 대체 모델에서 생성한 적대적 예제가 블랙박스 공격 대상 모델로 전이될 때, 진짜 기울기 방향을 더 잘 근사함으로써 이동성을 향상시키기 위해.
• 기존 FGSM 계열 알고리즘에 쉽게 통합될 수 있도록 계산 오버헤드를 증가시키지 않으면서도 공격 성공률을 향상시키는 방법을 개발하기 위해.
• SM의 한계로 인해 최적의 공격 영역에서 벗어나 전역 최적 공격 방향과 다소 떨어지는 결과가 발생함을 경험적으로 검증하기 위해.

제안 방법

• S²M는 기울기 부호를 기울기 요소의 크기에 따라 여러 세그먼트로 나누어, 편향 방향에 대한 세밀한 제어를 가능하게 한다.
• 각 세그먼트는 해당 기울기의 상대적 크기를 반영하는 계단형 가중치를 할당받으며, 이는 공격 대상 모델의 진짜 기울기 방향과의 정렬을 향상시킨다.
• 이 방법은 오직 기울기 부호 기반의 편향만을 수정하여, FGSM 스타일 공격의 효율성을 유지하고 기존 FGSM 기반 프레임워크에 원활하게 통합할 수 있다.
• 반복적 적용을 위해 I-FGS²M라는 I-FGSM의 개선된 변형을 사용하며, 이는 낮은 계산 비용을 유지한다.
• 계단형 가중치 할당은 히우리스틱이며 데이터에 의존하며, 기울기 크기 분포에 따라 동적으로 조정된다.
• 기존의 방어 강화 기법들인 입력 다각도, Poincaré 손실, Patch-wise++와도 호환된다.

실험 결과

연구 질문

• RQ1 Sign Method(SM)는 기울기 크기의 차이를 忽略함으로써 전이 기반 공격에서 열악한 기울기 추정을 유도하는가?
• RQ2 분할된, 크기 인식 기반의 부호 함수는 대체 모델의 기울기와 공격 대상 모델의 기울기 간 정렬을 향상시킬 수 있는가?
• RQ3 제안된 Staircase Sign Method(S²M)는 ImageNet에서 얼마나 적극적으로 적대적 전이성을 향상시키는가?
• RQ4 S²M는 화이트박스 및 블랙박스 환경에서 표준 모델과 적대적 훈련된 모델 모두에서 어떻게 성능을 내는가?
• RQ5 S²M는 기존의 FGSM 기반 공격 프레임워크에 계산 오버헤드를 거의 증가시키지 않고 통합할 수 있는가?

주요 결과

• S²M는 일반적으로 훈련된 모델에서 평균 5.1% 향상되고, 적대적 훈련된 방어 모델에서는 12.8% 향상되어 ImageNet에서 성능 향상을 보였다.
• S²M 적용 시, 대체 모델의 업데이트 방향과 공격 대상 모델의 진짜 기울기 간余弦 유사도는 SM 대비 평균 37.8% 향상되었다.
• 표적 공격 설정에서는 S²M 기반 방법이 항상 기존의 FGSM 기반 공격보다 뛰어나며, 특히 적대적 훈련된 모델에서 성공률이 최대 12.8% 향상되었다.
• 편향 예산(ε)이 커질수록 S²M와 FGSM 기반 베이스라인 간 성능 격차가 커지며, 특히 ε=12일 때 두드러졌다.
• 모든 평가된 공격 변형(I, MI, DI, TI, Po, PI)에서 S²M는 화이트박스 환경에서 기존 FGSM 기반 대비 평균 4.0%에서 9.8%까지 뛰어난 성능을 보였다.
• 이 방법은 거의 무시할 수 있는 계산 오버헤드를 유지하며, 입력 다각도 및 Poincaré 공간 손실과 같은 기존의 방어 강화 기법들과도 완전히 호환된다.