[논문 리뷰] Efficient Project Gradient Descent for Ensemble Adversarial Attack

Fanyou Wu, Rado Gazo외 2명|arXiv (Cornell University)|2019. 06. 07.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 4

한 줄 요약

이 논문은 집합 모델에 대한 대상 공격을 위한 개선된 PGD 방법인 효율적 프로젝션 기울기 하강법(EPGD)을 제안한다. EPGD는 각 입력 및 반복마다 단계 크기와 집합 가중치를 동적으로 조정함으로써, 탐색 방향과 변형 크기를 적응적으로 최적화하여 표준 PGD보다 더 작은 변형을 가진 적대적 예제를 생성한다. 이로 인해 높은 효율성을 유지하면서도, IJCAI19 대상 적대적 공격 경연 대회에서 1등을 차지하였다.

ABSTRACT

Recent advances show that deep neural networks are not robust to deliberately crafted adversarial examples which many are generated by adding human imperceptible perturbation to clear input. Consider $l_2$ norms attacks, Project Gradient Descent (PGD) and the Carlini and Wagner (C\&W) attacks are the two main methods, where PGD control max perturbation for adversarial examples while C\&W approach treats perturbation as a regularization term optimized it with loss function together. If we carefully set parameters for any individual input, both methods become similar. In general, PGD attacks perform faster but obtains larger perturbation to find adversarial examples than the C\&W when fixing the parameters for all inputs. In this report, we propose an efficient modified PGD method for attacking ensemble models by automatically changing ensemble weights and step size per iteration per input. This method generates smaller perturbation adversarial examples than PGD method while remains efficient as compared to C\&W method. Our method won the first place in IJCAI19 Targeted Adversarial Attack competition.

연구 동기 및 목표

• 집합 딥 네URAL 네트워크를 대상으로 더 효율적이고 효과적인 적대적 공격 방법을 개발하기 위해.
• 적대적 예제의 변형 크기를 유지하면서도 공격 성공률을 보존하기 위해.
• 표준 프로젝션 기울기 하강법(PGD)을 개선하기 위해 각 입력 및 반복마다 단계 크기와 집합 가중치를 동적으로 조정함으로써.
• 시간 제약 조건 하에서 변형 크기를 최소화하는 데 중점을 두고 IJCAI19 대상 적대적 공격 경연에서 뛰어난 성능을 내기 위해.
• 다양한 모델과 이미지 변환에 걸쳐 낮은 노이즈를 가진 적대적 예제를 생성할 수 있는 강력하고 구현 가능한 프레임워크를 제공하기 위해.

제안 방법

• EPGD는 표준 PGD를 개선하여 각 입력 및 반복마다 적응적인 단계 크기와 동적 집합 가중치를 도입함으로써, 탐색 방향과 수렴 속도를 향상시킨다.
• 작은 변형 매개변수로 시작하여 점차 허용 가능한 최대 변형 크기를 증가시키는 단계적 전략을 사용함으로써 효율성과 노이즈 감소 사이의 균형을 확보한다.
• 모델의 신뢰도와 기울기 정보를 기반으로 각 입력에 따라 집합 가중치를 자동으로 조정하여 공격 효과를 향상시킨다.
• 실수형 적대적 이미지를 정수 픽셀 값으로 변환하기 위해 새로운 이미지 매핑 함수를 도입하여 왜곡을 최소화하고 적대적 성질을 유지한다.
• 일致적인 크기 조정을 위해 PIL.Image.BILINEAR를 사용하여 299×299로 리사이징하며, 이는 평가 모델과의 호환성을 보장하고 텐서플로우의 기본 리사이징 동작과의 괴리를 방지한다.
• 공식 평가 모델이 텐서플로우 기반임을 고려해, 텐서플로우 1.14에서 구현함으로써 공식 모델과의 호환성을 확보하고, 후속 버전에서 발생하는 성능 문제를 피한다.

실험 결과

연구 질문

• RQ1 적응적인 단계 크기와 동적 집합 가중치 조정이 집합 모델에 대한 PGD 기반 적대적 공격의 효율성과 강건성에 기여하는가?
• RQ2 공격 성공률를 유지하면서도 더 작은 변형 크기를 가진 적대적 예제를 어떻게 생성할 수 있는가?
• RQ3 이미지 전처리 및 리사이징 방법이 다양한 딥 러닝 프레임워크 간의 적대적 예제 성능과 일관성에 어떤 영향을 미치는가?
• RQ4 이미지 매핑 함수의 선택(예: 반올림 vs. 버림)이 최종 변형 크기와 경쟁 설정에서의 공격 성공률에 어떤 영향을 미치는가?
• RQ5 적응적 파rameter와 신중한 구현 선택을 조합한 하이브리드 접근 방식이 고정 파rameter PGD 및 C&W 스타일 공격에 비해 변형 크기와 계산 효율성 측면에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• EPGD는 표준 PGD보다 훨씬 작은 변형을 가진 적대적 예제를 생성함으로써 IJCAI19 대상 적대적 공격 경연에서 1등을 차지하였다.
• 기준 PGD 대비 평균 변형 크기를 줄였지만 공격 성공률를 유지함으로써, 대상 공격 환경에서 더 높은 효율성을 입증하였다.
• 적응적인 단계 크기와 동적 집합 가중치 조정이 공격 속도나 성공률를 희생시키지 않고도 변형 크기를 최소화하는 데 핵심적인 역할을 하였다.
• PIL.Image.BILINEAR를 사용한 리사이징은 일관된 이미지 변환을 보장하여, 텐서플로우 1.14 이전 버전에서 발생하는 비일관된 리사이징 동작으로 인한 성능 저하를 방지하였다.
• 텐서플로우 1.14에서의 최종 구현은 공식 모델과의 호환성과 계산 성능 사이의 최적의 균형을 이룩하여, 이 경우에서 파이토치 및 후속 텐서플로우 버전을 모두 압도하였다.
• 원래 이미지에 가까운 값을 유지하면서도 가장 가까운 정수로 반올림하는 것으로 제안된 이미지 매핑 함수는 반올림 및 버림 연산을 초월하여 적대적 예제의 품질에서 뛰어난 성능을 보였다.