[논문 리뷰] Blackbox Attacks via Surrogate Ensemble Search

Zikui Cai, Chengyu Song외 3명|arXiv (Cornell University)|2022. 08. 07.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

이 논문은 투명한 공격을 위한 새로운 쿼리 효율적 방법인 Surrogate Ensemble Search를 통한 블랙박스 공격(BASES)을 제안한다. 이 방법은 가중치가 부여된 앙상블 서rogate 모델을 사용하는 변형 기계를 활용하여 적대적 예제를 생성한다. 희생 모델 쿼리를 통해 낮은 차원의 가중치 공간을 탐색함으로써, BASES는 이미지당 평균 3개의 쿼리로 ImageNet 분류기 및 Google Cloud Vision API에서 90% 이상의 타겟 공격 성공률를 달성하며, 기존 최고 성능(SOTA) 방법보다 30배 적은 쿼리 수를 사용한다.

ABSTRACT

Blackbox adversarial attacks can be categorized into transfer- and query-based attacks. Transfer methods do not require any feedback from the victim model, but provide lower success rates compared to query-based methods. Query attacks often require a large number of queries for success. To achieve the best of both approaches, recent efforts have tried to combine them, but still require hundreds of queries to achieve high success rates (especially for targeted attacks). In this paper, we propose a novel method for Blackbox Attacks via Surrogate Ensemble Search (BASES) that can generate highly successful blackbox attacks using an extremely small number of queries. We first define a perturbation machine that generates a perturbed image by minimizing a weighted loss function over a fixed set of surrogate models. To generate an attack for a given victim model, we search over the weights in the loss function using queries generated by the perturbation machine. Since the dimension of the search space is small (same as the number of surrogate models), the search requires a small number of queries. We demonstrate that our proposed method achieves better success rate with at least 30x fewer queries compared to state-of-the-art methods on different image classifiers trained with ImageNet. In particular, our method requires as few as 3 queries per image (on average) to achieve more than a 90% success rate for targeted attacks and 1-2 queries per image for over a 99% success rate for untargeted attacks. Our method is also effective on Google Cloud Vision API and achieved a 91% untargeted attack success rate with 2.9 queries per image. We also show that the perturbations generated by our proposed method are highly transferable and can be adopted for hard-label blackbox attacks. We also show effectiveness of BASES for hiding attacks on object detectors.

연구 동기 및 목표

• 쿼리 기반 블랙박스 공격의 높은 쿼리 비용을 해결하면서도 높은 성공률를 유지한다.
• 전이 기반 공격의 낮은 성공률를 극복하기 위해 전이 및 쿼리 메커니즘을 융합한다.
• 특히 접근이 제한된 환경에서 타겟 블랙박스 공격을 위해 필요한 쿼리 수를 최소화한다.
• 통합 프레임워크를 사용하여 이미지 분류기 및 객체 검출기와 같은 다양한 모델에 효과적인 공격을 가능하게 한다.
• Google Cloud Vision과 같은 하드-라벨 및 실세계 API에 대한 변형의 전이 가능성(transferability)을 입증한다.

제안 방법

• 고정된 서rogate 모델 앙상블에 대해 가중치 손실 함수를 최소화하는 방식으로 적대적 변형을 생성하는 변형 기계(PM)를 정의한다.
• 앙상블 내 각 서rogate 모델에 대해 학습 가능한 가중치를 할당하여 변형 방향을 동적으로 조정할 수 있도록 한다.
• 희생 모델 피드백을 사용하여 외부 루프에서 가중치 벡터를 탐색하여 희생 모델의 손실을 최소화한다.
• 이중 최적화 프레임워크를 활용: 내부 루프는 PM을 통해 변형을 생성하고, 외부 루프는 쿼리를 사용하여 가중치를 업데이트한다.
• 저차원의 가중치 공간을 효율적으로 시각화하고 탐색하기 위해 바리센터트릭 좌표를 사용한다.
• 다양한 서rogate 모델에서 유도된 변형의 전이 가능성(transferability)을 활용하여, 예측되지 않은 희생 모델로의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한 가중치를 가진 서rogate 앙상블이 성공적인 블랙박스 공격을 위해 필요한 쿼리 수를 크게 줄일 수 있는가?
• RQ2 쿼리 효율성과 성공률 측면에서 BASES의 성능은 기존 최고 수준의 쿼리 기반 및 전이 기반 방법과 비교해 어떻게 되는가?
• RQ3 BASES가 생성한 적대적 변형은 Google Cloud Vision과 같은 실세계 API로의 전이 가능성(transferability)이 어느 정도인가?
• RQ4 BASES는 객체 검출 모델을 공격하는 데로 확장될 수 있으며, 하드-라벨 및 비타겟 설정에서 얼마나 효과적인가?
• RQ5 앙상블 가중치에 대한 손실 곡면은 탐색에 효율적인 구조를 지니고 있으며, 최소한의 쿼리로 최적의 설정에 도달할 수 있는가?

주요 결과

• BASES는 이미지당 평균 3개의 쿼리로 ImageNet 분류기에서 타겟 공격 성공률가 90% 이상을 달성하며, SOTA 방법 대비 30배 적은 쿼리 수를 사용한다.
• 비타겟 공격의 경우, BASES는 이미지당 1~2개의 쿼리로 99% 이상의 성공률를 기록하여 놀라운 쿼리 효율성을 입증한다.
• Google Cloud Vision API에서 BASES는 이미지당 평균 2.9개의 쿼리로 91%의 비타겟 공격 성공률를 달성한다.
• VGG-19, DenseNet-121, ResNeXt-50, 그리고 RetinaNet, Deformable DETR와 같은 객체 검출기 등 다양한 모델에서 높은 성능를 유지한다.
• BASES가 생성한 변형은 강력한 전이 가능성(transferability)을 보이며, 하드-라벨 설정 및 실세계 API에서 효과적인 공격을 가능하게 한다.
• 손실 곡면의 시각화 결과, 최적의 가중치 설정이 존재하며, 최소한의 쿼리로 도달 가능하다는 것이 확인되어, 탐색 전략의 타당성을 입증한다.