[논문 리뷰] They Might NOT Be Giants: Crafting Black-Box Adversarial Examples with Fewer Queries Using Particle Swarm Optimization

Rayan Mosli, Matthew Wright외 2명|arXiv (Cornell University)|2019. 09. 16.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 9

한 줄 요약

이 논문은 입자군집최적화(PSO)를 사용하여 상태최신 기법보다 훨씬 적은 쿼리 수로 높은 성공률을 달성하는 블랙박스 적대적 공격인 AdversarialPSO를 제안한다. PSO의 기울기 비존재, 인구 기반의 탐색을 활용하여 눈에 띄지 않는 변형을 효율적으로 찾음으로써, CIFAR-10에서 99.6%의 성공률, MNIST에서 96.3%의 성공률, ImageNet에서 82.0%의 성공률를 기록한다.

ABSTRACT

Machine learning models have been found to be susceptible to adversarial examples that are often indistinguishable from the original inputs. These adversarial examples are created by applying adversarial perturbations to input samples, which would cause them to be misclassified by the target models. Attacks that search and apply the perturbations to create adversarial examples are performed in both white-box and black-box settings, depending on the information available to the attacker about the target. For black-box attacks, the only capability available to the attacker is the ability to query the target with specially crafted inputs and observing the labels returned by the model. Current black-box attacks either have low success rates, requires a high number of queries, or produce adversarial examples that are easily distinguishable from their sources. In this paper, we present AdversarialPSO, a black-box attack that uses fewer queries to create adversarial examples with high success rates. AdversarialPSO is based on the evolutionary search algorithm Particle Swarm Optimization, a populationbased gradient-free optimization algorithm. It is flexible in balancing the number of queries submitted to the target vs the quality of imperceptible adversarial examples. The attack has been evaluated using the image classification benchmark datasets CIFAR-10, MNIST, and Imagenet, achieving success rates of 99.6%, 96.3%, and 82.0%, respectively, while submitting substantially fewer queries than the state-of-the-art. We also present a black-box method for isolating salient features used by models when making classifications. This method, called Swarms with Individual Search Spaces or SWISS, creates adversarial examples by finding and modifying the most important features in the input.

연구 동기 및 목표

• 기존의 블랙박스 적대적 공격가 과도한 쿼리 수를 요구하거나 낮은 성공률을 보이는 데서 기인하는 한계를 해결하기 위해.
• 쿼리 효율적이며 기울기 없이 작동하는 방법을 개발하여 블랙박스 환경에서 눈에 띄지 않는 적대적 예제를 제작하기 위해.
• 모델 내부 정보를 요구하지 않고도 모델이 분류에 사용하는 중요한 특징을 식별할 수 있도록 하기 위해.
• PSO의 확장성 덕분에 여러 쿼리 소스를 활용해 대규모 분산 적대적 공격을 지원하기 위해.

제안 방법

• AdversarialPSO는 입력 공간을 반복적으로 탐색하는 입자 집단을 사용하며, 오차 함수에 의해 측정된 오분류 가능성에 따라 작은 눈에 띄지 않는 변화로 이미지를 변형한다.
• 각 입자는 자신의 개인 최적값과 군집 내에서 발견된 전역 최적값을 기반으로 PSO의 속도 및 위치 갱신 규칙을 사용하여 위치를 갱신하며, 기울기를 요구하지 않는다.
• 오차 함수는 변형의 L2 노름을 최소화하여 눈에 띄지 않음을 보장하면서 동시에 오분류 가능성의 확률을 최대화하도록 설계되어 있다.
• SWISS (Swarms with Individual Search Spaces)는 입자를 입력 공간의 특정 영역에 제한하여, 분류에 가장 영향을 주는 특징를 국소화하고 수정할 수 있도록 PSO를 확장한다.
• SWISS는 국소화된 입자 군집을 사용하여 개별 영역을 탐색하고, 모델 예측에 가장 영향을 주는 특징를 식별함으로써 기울기 정보 없이도 목표 지향적이고 특징 기반의 변형을 가능하게 한다.
• 공격은 MNIST, CIFAR-10, ImageNet에서 평가되었으며, 주요 평가 지표로는 쿼리 효율성과 적대적 성공률이 사용되었다.

실험 결과

연구 질문

• RQ1 기울기 없고 인구 기반 최적화 방법인 PSO가 기울기 기반 방법보다 더 적은 쿼리 수로 블랙박스 환경에서 고품질의 적대적 예제를 효과적으로 생성할 수 있는가?
• RQ2 PSO 기반 적대적 공격의 성능은 다양한 데이터셋에서 기존 최고 수준의 블랙박스 공격과 비교해 쿼리 효율성과 성공률 측면에서 어떻게 다른가?
• RQ3 PSO는 모델의 기울기나 내부 구조에 접근하지 않고도 모델이 분류에 사용하는 중요한 특징를 식별하는 데 적합한가?
• RQ4 PSO 기반 공격는 다수의 분산된 소스를 통해 얼마나 확장되어 대규모이고 침투성이 높은 적대적 캠페인을 가능하게 할 수 있는가?

주요 결과

• AdversarialPSO는 이전의 최고 수준 기법보다 훨씬 적은 쿼리 수로 CIFAR-10에서 99.6%의 성공률을 달성했다.
• MNIST에서는 낮은 쿼리 오버헤드로 96.3%의 성공률를 기록하여 높은 효율성과 강건성을 입증했다.
• ImageNet에서는 복잡한 데이터셋임에도 불구하고 쿼리 효율성 측면에서 기존의 블랙박스 공격를 뛰어넘는 82.0%의 성공률를 달성했다.
• SWISS 방법은 모델이 분류에 사용하는 중요한 특징를 효과적으로 식별하고 수정하여, 기울기 정보 없이도 목표 지향적 공격를 가능하게 했다.
• PSO 기반 접근법은 공통의 타겟 모델을 사용해 여러 실체가 하나의 공격에 기여할 수 있도록 함으로써 대규모 분산 적대적 공격를 가능하게 했다.
• 공격는 PSO가 8K 해상도 이미지와 같은 고차원 공간에서도 다수의 노드에 걸쳐 탐색을 분산시켜 효과적으로 작동함을 입증했다.