[논문 리뷰] Decision-based Universal Adversarial Attack

Jing Wu, Mingyi Zhou외 3명|arXiv (Cornell University)|2020. 09. 15.

Adversarial Robustness in Machine Learning참고 문헌 62인용 수 9

한 줄 요약

이 논문은 모델 아키텍처나 기울기 정보 없이 상위 1개 클래스 예측 레이블만을 사용하여 단일한 스트라이프 형태의 교란을 생성하는 결합 기반 유니버설 적대적 공격인 DUAttack을 제안한다. 이는 모델 간 및 작업 간 뛰어난 전이성과 함께, 모델에 대한 접근이 없이도 성능을 발휘한다. 이는 화이트박스 및 실제 블랙박스 환경(예: 마이크로소프트 애저) 모두에서 전이 기반 및 쿼리 기반 방법을 능가하며, 다양한 방어 기법에 대해서도 효과를 유지한다.

ABSTRACT

A single perturbation can pose the most natural images to be misclassified by classifiers. In black-box setting, current universal adversarial attack methods utilize substitute models to generate the perturbation, then apply the perturbation to the attacked model. However, this transfer often produces inferior results. In this study, we directly work in the black-box setting to generate the universal adversarial perturbation. Besides, we aim to design an adversary generating a single perturbation having texture like stripes based on orthogonal matrix, as the top convolutional layers are sensitive to stripes. To this end, we propose an efficient Decision-based Universal Attack (DUAttack). With few data, the proposed adversary computes the perturbation based solely on the final inferred labels, but good transferability has been realized not only across models but also span different vision tasks. The effectiveness of DUAttack is validated through comparisons with other state-of-the-art attacks. The efficiency of DUAttack is also demonstrated on real world settings including the Microsoft Azure. In addition, several representative defense methods are struggling with DUAttack, indicating the practicability of the proposed method.

연구 동기 및 목표

• 모델 출력에 대한 최소한의 액세스만으로 작동하는 유니버설 적대적 공격을 개발하는 것.
• 상위 합성곱 레이어의 민감성에 착안하여 이미지에 의존하지 않는 스트라이프 형태의 텍스처를 가진 단일 교란을 생성하는 것.
• 기울기 또는 서rogate 모델 정보에 의존하지 않고도 유니버설 교란의 전이성을 향상시키는 것.
• 적대적 훈련 및 입력 전처리와 같은 일반적인 방어 기법에 대한 공격의 강건성 평가.
• 마이크로소프트 애저와 같은 실제 배포 플랫폼에서의 효과성 검증 — 여기서는 모델 아키텍처가 알려져 있지 않다.

제안 방법

• 대상 모델의 상위 1개 예측 클래스 레이블만을 사용하여 유니버설 교란을 생성함으로써 기울기 또는 모델 아키텍처에 대한 액세스를 피함.
• 결정 피드백에 기반한 반복 최적화를 사용하며, 업데이트 방향으로 사전 정의된 직교 행렬을 샘플링하여 교란의 형태를 설계함.
• 초기 합성곱 레이어가 이러한 패atters에 민감함을 활용하여 스트라이프 형태의 텍스처를 가진 교란을 설계함.
• 이전에 성공한 오분류 신호를 기반으로 교란 벡터를 갱신하고 방향을 정밀 조정하는 방식으로 알고리즘을 반복함.
• 수렴성과 교란 강도의 균형을 위해 단계 크기 0.2와 반복 횟수 1000을 사용함.
• 모델 내부 구조를 사전에 알지 못한 채 실제 블랙박스 모델(예: 마이크로소프트 애저 온라인 서비스)에 직접 적용함.

실험 결과

연구 질문

• RQ1 기울기 또는 모델 아키텍처 정보 없이 상위 1개 레이블 피드백만으로도 유니버설 적대적 공격를 구성할 수 있는가?
• RQ2 유니버설 교란에 스트라이프 형태의 텍스처가 모델 및 작업 간 전이성 향상에 기여하는가?
• RQ3 실제 블랙박스 환경에서 제안된 결합 기반 유니버설 공격가 전이 기반 및 쿼리 기반 공격보다 우월한가?
• RQ4 제안된 공격가 적대적 훈련 및 입력 전처리와 같은 일반 방어 기법을 우회할 수 있는가?
• RQ5 다양한 모델 및 작업에서 높은 오도율을 달성하기 위해 필요한 최소한의 교란 크기는 얼마인가?

주요 결과

• DUAttack은 마이크로소프트 애저의 MNIST 모델에서 타겟되지 않은 설정에서 83.08%의 오도율을 기록하여, 화이트박스 방법인 PGD(67.41%)와 UAP(56.24%)를 모두 능가함.
• 타겟된 공격에서는 Azure에서 40.47%의 오도율을 기록하여 SimBA(46.56%)와 PGD(23.74%)를 모두 초월하며, 뛰어난 블랙박스 성능을 입증함.
• 공격는 모델 및 작업 간 강력한 전이성을 유지하였으며, 교란이 한 모델에서 계산되었더라도 다른 모델에 적용해도 높은 성공률 기록함.
• 적대적 훈련(AT) 및 총 변동 최소화(TVM)와 같은 방어 기법은 부분적으로 효과적이었지만, 교란 노름이 16에 도달할 경우 모델 정확도는 약 20%로 급격히 떨어져 심각한 모델 훼손을 유발함.
• 공간 스무딩(SS) 및 JPEG 압축(JC)과 같은 입력 수준의 방어 기법에 대해서도 공격가 효과를 유지하여 강건성을 입증함.
• 실험 결과, 교란에 스트라이프 형태의 텍스처가 포함될 경우 랜덤 노이즈 기반 교란보다 일반화 능력과 공격 성공률이 뚜렷이 향상됨을 확인함.