[논문 리뷰] Improving the Transferability of Adversarial Examples with the Adam Optimizer.

Heng Yin, Hengwei Zhang외 2명|arXiv (Cornell University)|2020. 12. 01.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 Adam 최적화 알고리즘을 반복적 기울기 기반 적대적 공격 방법에 통합하여 적대적 예제의 이동성(transferability)을 향상시키는 Adam 반복적 빠른 기울기 방법(Adam-IFGSM)을 제안한다. 적응형 학습률과 모멘텀을 활용함으로써, 이 방법은 일반적으로 훈련된 ImageNet 모델에서 81.9%의 공격 성공률과 적대적 훈련을 받은 모델에서 38.7%의 성공률을 달성하여 기존의 반복적 방법들을 능가한다.

ABSTRACT

Convolutional neural networks have outperformed humans in image recognition tasks, but they remain vulnerable to attacks from adversarial examples. Since these data are produced by adding imperceptible noise to normal images, their existence poses potential security threats to deep learning systems. Sophisticated adversarial examples with strong attack performance can also be used as a tool to evaluate the robustness of a model. However, the success rate of adversarial attacks remains to be further improved in black-box environments. Therefore, this study combines an improved Adam gradient descent algorithm with the iterative gradient-based attack method. The resulting Adam Iterative Fast Gradient Method is then used to improve the transferability of adversarial examples. Extensive experiments on ImageNet showed that the proposed method offers a higher attack success rate than existing iterative methods. Our best black-box attack achieved a success rate of 81.9% on a normally trained network and 38.7% on an adversarially trained network.

연구 동기 및 목표

• 모델 정보가 제한된 블랙박스 공격 환경에서 적대적 예제의 이동성을 향상시키는 것.
• 기존의 반복적 기울기 기반 방법이 다양한 모델 간에 적대적 예제를 전이시키는 데 낮은 성공률을 보이는 문제를 해결하는 것.
• 기울기 업데이트 동역학을 개선하여 표준 모델과 적대적 훈련을 받은 모델 양쪽 모두에서 공격 성능을 향상시키는 것.
• 적응형 최적화 기법을 활용해 더 강력하고 일반화 능력이 뛰어난 적대적 공격 방법을 개발하는 것.

제안 방법

• 반복적 빠른 기울기 부호 방법(IFGSM)에 Adam 최적화기를 통합하여 적대적 예제 생성 과정에서 기울기 업데이트를 정교화하는 것.
• 적응형 학습률과 모멘텀 항을 활용하여 적대적 편향 공간 내에서 수렴성과 탐색 능력을 향상시키는 것.
• Adam 업데이트 규칙을 사용해 방향성과 안정성이 향상된 반복적 입력 이미지 편향을 적용하는 것.
• IFGSM의 반복적 성격을 유지하면서 표준 SGD 업데이트를 Adam 기반 업데이트로 대체하여 기울기 활용도를 높이는 것.
• 적응 통계를 사용해 편향 크기와 방향을 균형 있게 조절하는 단계별 편향 전략을 적용하는 것.
• 각 파라미터별로 동적으로 학습률을 조정하여 편향의 은폐성과 공격 성공률 사이의 트레이드오���을 최적화하는 것.

실험 결과

연구 질문

• RQ1 기존의 반복적 기울기 기반 공격에 Adam 최적화기를 통합함으로써 다양한 모델 간에 적대적 예제의 이동성을 향상시킬 수 있는가?
• RQ2 ImageNet에서 Adam-IFGSM 방법은 표준 IFGSM 및 기타 반복적 방법과 비교해 공격 성공률 측면에서 어떻게 성과를 내는가?
• RQ3 Adam-IFGSM 방법은 일반적으로 훈련된 모델과 적대적으로 훈련된 모델 양쪽에서 높은 성능을 유지하는가?
• RQ4 공격 과정에서 적응형 학습률과 모멘텀을 사용하면 더 강력하고 일반화 능력이 뛰어난 적대적 예제를 생성할 수 있는가?

주요 결과

• Adam-IFGSM 방법은 블랙박스 환경에서 일반적으로 훈련된 ImageNet 모델에서 81.9%의 공격 성공률를 달성하여 기존의 반복적 방법들을 능가했다.
• 적대적으로 훈련된 모델에서는 38.7%의 공격 성공률를 기록하여 방어 훈련에 대한 더 높은 저항성을 보였다.
• Adam을 반복적 공격 프레임워크에 통합함으로써 다양한 모델 아키텍처 간에 적대적 예제의 이동성이 향상되었다.
• Adam 내의 적응형 학습률과 모멘텀 구성 요소가 편향 생성 과정에서 더 안정적이고 효과적인 기울기 업데이트에 기여했다.
• 다양한 평가 환경에서 표준 IFGSM 및 기타 기준 반복적 방법들에 비해 일관된 성능 향상을 보였다.
• 결과적으로 최적화 전략이 블랙박스 환경조차도 적대적 예제의 이동성에 큰 영향을 미친다는 것이 확인되었다.