[논문 리뷰] Stochastic Variance Reduced Ensemble Adversarial Attack for Boosting the Adversarial Transferability

Yifeng Xiong, Jiadong Lin외 3명|arXiv (Cornell University)|2021. 11. 21.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 8

한 줄 요약

이 논문은 반복 최적화 중에 여러 모델 간의 기울기 분산을 줄이는 데 초점을 맞춘 새로운 블랙박스 적대적 공격 방법인 Stochastic Variance Reduced Ensemble (SVRE) 공격을 제안한다. 앙상블 공격를 확률적 경사 하강법 과정으로 모델링하고 SVRG에 영감을 받은 분산 감소 기법을 적용함으로써, SVRE는 적대적 전이성(transferability)을 향상시켜 기존 기준 앙상블 방법에 비해 ImageNet에서 훨씬 높은 공격 성공률를 달성한다.

ABSTRACT

The black-box adversarial attack has attracted impressive attention for its practical use in the field of deep learning security. Meanwhile, it is very challenging as there is no access to the network architecture or internal weights of the target model. Based on the hypothesis that if an example remains adversarial for multiple models, then it is more likely to transfer the attack capability to other models, the ensemble-based adversarial attack methods are efficient and widely used for black-box attacks. However, ways of ensemble attack are rather less investigated, and existing ensemble attacks simply fuse the outputs of all the models evenly. In this work, we treat the iterative ensemble attack as a stochastic gradient descent optimization process, in which the variance of the gradients on different models may lead to poor local optima. To this end, we propose a novel attack method called the stochastic variance reduced ensemble (SVRE) attack, which could reduce the gradient variance of the ensemble models and take full advantage of the ensemble attack. Empirical results on the standard ImageNet dataset demonstrate that the proposed method could boost the adversarial transferability and outperforms existing ensemble attacks significantly. Code is available at https://github.com/JHL-HUST/SVRE.

연구 동기 및 목표

• 다양한 모델 아키텍처 간 높은 기울기 분산으로 인해 블랙박스 공격에서 적대적 예제의 전이성(limit transferability)이 제한되는 문제를 해결하기 위해.
• 분산 감소 기법을 적용한 최적화 과정 모델링을 통해 앙상블 기반 적대적 공격의 효과를 향상시키기 위해.
• 적대적 예제 생성 과정에서 앙상블 모델에 과적합되는 것을 줄여, 미지의 모델로의 전이성 향상시키기 위해.
• 기울기 분산이 앙상블 공격 성능에 중요한데도 간과되는 요소임을 입증하기 위해.

제안 방법

• SVRE 공격는 외부 루프에서 모델의 앙상블을 배치로 간주하고 평균 기울기 추정치를 유지한다.
• 내부 루프에서는 각 반복마다 랜덤으로 한 개의 모델을 샘플링하여 분산이 감소된 기울기 업데이트를 계산한다.
• 내부 루프는 샘플된 모델에 대해 외부 루프의 평균 기울기를 빼어 편향 보정된 기울기 추정치를 사용한다.
• 내부 루프에서 조정된 기울기를 사용해 외부 적대적 예제를 업데이트함으로써 수렴성을 향상시키고 국소 최적해를 줄인다.
• 기존의 적대적 공격 알고리즘인 I-FGSM, MI-FGSM, SI-TI-DIM과 통합되어 이들의 전이성 향상에 기여한다.
• 내부 루프 업데이트와 외부 루프의 안정성 간 균형을 맞춰 앙상블에 과적합되지 않게 하여, 미지의 모델로의 일반화 능력을 높인다.

실험 결과

연구 질문

• RQ1 다양한 모델 아키텍처 간 기울기 분산이 앙상블 기반 적대적 공격의 전이성에 어떻게 영향을 미치는가?
• RQ2 확률적 최적화에서 유래한 분산 감소 기법이 블랙박스 환경에서 적대적 예제의 강건성과 전이성 향상에 기여할 수 있는가?
• RQ3 앙상블 공격에서 기울기 분산을 줄이면 표준 앙상블 방법에 비해 미지의 타겟 모델에서 더 높은 성능을 내는가?
• RQ4 전이성 최적화를 위해 내부 업데이트 빈도와 스텝 사이즈의 최적 설정은 무엇인가?

주요 결과

• SVRE는 ImageNet 데이터셋에서 표준 앙상블 공격에 비해 뚜렷이 뛰어난 성능을 보이며, 더 높은 블랙박스 공격 성공률를 달성한다.
• SVRE의 최적 내부 업데이트 빈도 $ M $ 는 약 16이며, 이를 초과하면 과적합으로 인해 성능이 저하된다.
• 최적 내부 스텝 사이즈 $ \beta $ 는 공격 유형에 따라 다를 수 있으나, $ \beta = 1.6 $ 이면 다양한 방법에서 뛰어난 성능을 보인다.
• 구성된 앙상블 공격가 9배 더 많은 기울기 쿼리를 사용해도 SVRE의 성능을 따라잡지 못함을 입증하여, SVRE의 성능 향상이 쿼리 수 증가 때문이 아니라 최적화의 향상 때문임을 보여준다.
• SVRE는 높은 화이트박스 성공률를 유지하면서도 블랙박스 전이성은 크게 향상시켜, 앙상블에 과적합되지 않음을 시사한다.
• 제거 실험을 통해 기울기 분산 감소가 SVRE의 뛰어난 전이성의 핵심 요인임을 확인하였으며, 단지 쿼리 예산 증가 때문이 아니라는 점을 입증한다.