[논문 리뷰] Boosting the Transferability of Adversarial Attacks with Global Momentum Initialization

Jiafeng Wang, Zhaoyu Chen외 6명|arXiv (Cornell University)|2022. 11. 21.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 전이성 공격 성능을 햖스키기 위해 기울기 소멸을 억제하고 전역 탐색을 가능하게 하는 Global Momentum Initialization (GI)를 제안한다. 주 공격 전에 고단계 크기의 기울기 전구를 수행함으로써 GI는 동적 방향의 품질을 향상시키며, 고도의 방어 기반에 대해 평균 95.4%의 공격 성공률을 달성한다. 이는 기존 최고 성능 기법보다 6.4% 높은 성능이다.

ABSTRACT

Deep Neural Networks (DNNs) are vulnerable to adversarial examples, which are crafted by adding human-imperceptible perturbations to the benign inputs. Simultaneously, adversarial examples exhibit transferability across models, enabling practical black-box attacks. However, existing methods are still incapable of achieving the desired transfer attack performance. In this work, focusing on gradient optimization and consistency, we analyse the gradient elimination phenomenon as well as the local momentum optimum dilemma. To tackle these challenges, we introduce Global Momentum Initialization (GI), providing global momentum knowledge to mitigate gradient elimination. Specifically, we perform gradient pre-convergence before the attack and a global search during this stage. GI seamlessly integrates with existing transfer methods, significantly improving the success rate of transfer attacks by an average of 6.4% under various advanced defense mechanisms compared to the state-of-the-art method. Ultimately, GI demonstrates strong transferability in both image and video attack domains. Particularly, when attacking advanced defense methods in the image domain, it achieves an average attack success rate of 95.4%. The code is available at $\href{https://github.com/Omenzychen/Global-Momentum-Initialization}{https://github.com/Omenzychen/Global-Momentum-Initialization}$.

연구 동기 및 목표

• 기울기 기반 공격이 널리 사용되지만 최적의 전이성을 달성하지 못하는 이유를 규명하는 것.
• 기울기 기반 최적화에서 전진 기울기와 역전파 기울기 간 일관성이 상실되는 기울기 소멸 현상을 특정하고 해결하는 것.
• 작은 스텝 크기로 인해 탐색 공간이 제한되고 국소 최적점에 갇히는 반복 공격의 국소 최적점 딜레마를 해결하는 것.
• 특히 블랙박스 환경에서 강력한 방어 메커니즘에 대응하여 전이 공격 성공률을 향상시키는 것.
• 기존 기울기 기반 공격 프레임워크와 호환되며 전역 탐색과 동적 수렴 품질을 향상시키는 즉시 사용 가능한 방법을 개발하는 것.

제안 방법

• 고단계 크기의 업데이트를 사용해 주 공격 전에 기울기의 전구를 수행함으로써 동적 수렴을 가속화하는 Global Momentum Initialization (GI)를 도입한다.
• 전구 단계 동안 전역 탐색 전략을 적용하여 더 넓은 데이터 분포를 탐색하고 국소 최적점에서 벗어나도록 한다.
• 전구 단계 동안 전진 기울기가 역전파 기울기와 일관성을 유지하도록 하여 기울기 소멸을 억제함으로써 공격 방향의 품질을 향상시킨다.
• 기존 공격 방법들인 MI-FGSM과 NI-FGSM과의 통합을 위해 초기 동적 계산을 전구된 전역 정보 기반 동적 값으로 교체한다.
• 전구 단계의 스텝 크기를 확대하기 위해 탐색 증폭 인자 S를 사용하여 초기화 단계에서 손실 표면의 더 넓은 탐색을 가능하게 한다.
• CT-FGSM 프레임워크 내에서 GI를 입력 변환(예: DIM, TIM, SIM)과 결합하여 다양한 모델과 방어 기반에 걸쳐 전이성을 더욱 향상시킨다.

실험 결과

연구 질문

• RQ1 기울기 축적을 사용하고도 기울기 기반 공격이 여전히 낮은 전이성을 보이는 이유는 무엇인가?
• RQ2 전진 및 역전파 단계 간 기울기 일관성의 손실, 특히 기울기 소멸 현상이 공격 성능에 얼마나 큰 영향을 미치는가?
• RQ3 반복 공격에서 스텝 크기를 제한함으로써 탐색 공간이 어떻게 제한되고 국소 최소점에서 비최적 수렴이 발생하는가?
• RQ4 고단계 크기 업데이트를 사용한 전구가 주 공격 이전에 동적 방향의 품질을 향상시키고 전역 탐색 능력을 향상시킬 수 있는가?
• RQ5 GI는 얼마나 일반화 가능하며 기존 전이 공격 방법과 통합되어 강력한 방어 기반 하에서 성공률을 향상시킬 수 있는가?

주요 결과

• 제안된 Global Momentum Initialization (GI) 방법은 9개의 고도 방어 메커니즘에 걸쳐 평균 95.4%의 공격 성공률을 달성하여 이전 SOTA의 89%를 크게 초월한다.
• GI는 기존 최고 성능 기법 대비 평균 6.4%의 성공률 향상을 달성했으며, 방어 기반에 따라 6.4%에서 9.0%까지 성과 향상이 관찰되었다.
• 절단 실험 결과, P=5회 반복과 전역 탐색 인자 S=10 조건에서 최적의 성능를 확보했으며, 속도와 성공률 간의 균형을 잘 유지한다.
• 기울기 소멸이 효과적으로 억제되었음을 확인하였으며, 전구 단계에서 전진 기울기와 역전파 기울기 간 코사인 유사도가 향상된 것으로 나타났다.
• GI는 초기 동적 방향을 확장함으로써 더 효과적인 전역 탐색을 가능하게 하여 국소 최적점에 빠지는 것을 줄였다.
• 이 방법은 매우 높은 호환성을 보이며, MI-FGSM, NI-FGSM 및 입력 변환을 적용한 변종을 포함한 대부분의 기존 기울기 기반 공격 프레임워크와 쉽게 통합될 수 있다.