[논문 리뷰] Query-Efficient Black-Box Attack by Active Learning

Pengcheng Li, Jinfeng Yi외 1명|arXiv (Cornell University)|2018. 09. 13.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 9

한 줄 요약

이 논문은 활성 학습과 다양성 인식 샘플링을 활용하여 정확한 대체 모델을 훈련하기 위해 필요한 쿼리 수를 줄이는 쿼리 효율적인 블랙박스 공격 방법을 제안한다. C&W와 DeepFool과 같은 고급 화이트박스 공격을 활용하고, 활성 학습에 다양성 기준을 적용함으로써, 공격 성공률을 유지하면서도 쿼리 수를 90% 이상 감소시켰으며, 타겟 모델과의 유사도는 85% 이상 달성하였다.

ABSTRACT

Deep neural network (DNN) as a popular machine learning model is found to be vulnerable to adversarial attack. This attack constructs adversarial examples by adding small perturbations to the raw input, while appearing unmodified to human eyes but will be misclassified by a well-trained classifier. In this paper, we focus on the black-box attack setting where attackers have almost no access to the underlying models. To conduct black-box attack, a popular approach aims to train a substitute model based on the information queried from the target DNN. The substitute model can then be attacked using existing white-box attack approaches, and the generated adversarial examples will be used to attack the target DNN. Despite its encouraging results, this approach suffers from poor query efficiency, i.e., attackers usually needs to query a huge amount of times to collect enough information for training an accurate substitute model. To this end, we first utilize state-of-the-art white-box attack methods to generate samples for querying, and then introduce an active learning strategy to significantly reduce the number of queries needed. Besides, we also propose a diversity criterion to avoid the sampling bias. Our extensive experimental results on MNIST and CIFAR-10 show that the proposed method can reduce more than $90\%$ of queries while preserve attacking success rates and obtain an accurate substitute model which is more than $85\%$ similar with the target oracle.

연구 동기 및 목표

• 공격자가 대체 모델을 훈련하기 위해 수천 번의 쿼리가 필요한 전이 기반 블랙박스 공격에서의 높은 쿼리 비용을 해결하기 위해.
• 무작위 또는 히우리스틱 샘플링을 활성 학습 전략으로 대체하여 정보가 풍부한 샘플을 우선순위로 지정함으로써 쿼리 효율을 향상시키기 위해.
• 활성 학습에서의 샘플링 편향을 줄이기 위해 결합된 결정 경계를 대표하는 커버리지가 보장되도록 다양성 기준을 도입하기 위해.
• 최신 화이트박스 공격 방법(C&W 및 DeepFool)을 활성 학습과 조합하여 블랙박스 전이 공격에 효과적인지 평가하기 위해.
• 제안된 방법이 기준 방법보다 훨씬 적은 쿼리로 유사하거나 더 높은 공격 성공률을 달성할 수 있음을 보여주기 위해.

제안 방법

• C&W 및 DeepFool 공격를 사용하여 쿼리 데이터 수집을 위한 고품질의 적대적 예제를 생성하고, JSMA와 같은 덜 효과적인 방법을 대체한다.
• 정보가 풍부한 샘플을 선택하기 위해 활성 학습 전략—특히 최대 엔트로피 및 마진 기반 불확실성 샘플링—을 적용한다.
• 선택된 쿼리가 정보가 풍부할 뿐 아니라 결정 경계의 다양한 영역에 분포하도록 보장하기 위해 다양성 기준을 도입한다.
• 활성으로 선택된 다양성 있는 쿼리 데이터를 사용하여 대체 모델을 훈련함으로써, 타겟 모델의 결정 경계를 모방하는 능력을 향상시킨다.
• 작은 초기 쿼트 세트에서 시작하여 불확실성과 다양성 기반으로 반복적으로 새로운 샘플을 선택하며, 초기 단계 이후 쿼리 수가 선형적으로 증가한다.
• MNIST 및 CIFAR-10에서 기준 방법(Raw 방법)과 비교하여 성능을 평가하며, 이는 무작위 샘플링 및 리저보아 샘플링을 사용한다.

실험 결과

연구 질문

• RQ1 C&W 및 DeepFool과 같은 고급 화이트박스 공격 방법은 JSMA와 같은 단순한 방법보다 블랙박스 공격에서 대체 모델 훈련을 위한 데이터 품질을 향상시킬 수 있는가?
• RQ2 활성 학습은 정확한 대체 모델을 훈련하기 위해 필요한 쿼리 수를 얼마나 줄일 수 있는가?
• RQ3 활성 학습에 다양성 기준을 통합하면 대체 모델의 일반화 능력과 타겟 모델과의 유사도가 향상되는가?
• RQ4 활성 학습과 다양성 샘플링의 조합은 쿼리 수를 크게 줄이면서도 공격 성공률을 유지하거나 향상시킬 수 있는가?
• RQ5 쿼리 효율성, 공격 성공률, 대체 모델 정확도 측면에서 제안된 방법은 기준 방법(Raw 방법)과 비교해 어떻게 다른가?

주요 결과

• 제안된 방법은 기준 방법(Raw 방법)에 비해 쿼리 수를 90% 이상 감소시켰으며, 유사하거나 더 높은 공격 성공률를 달성하였다.
• CIFAR-10에서 10%의 공격 성공률를 달성하기 위해 원래의 최대 엔트로피 방법은 5,000개 이상의 쿼리가 필요했으나, 개선된 방법은 이를 400개 이하로 줄였다.
• 개선된 방법은 200개의 쿼리로 타겟 모델과 85%의 유사도를 달성했으며, 원래의 활성 학습 방법은 이와 같은 성능을 위해 600개의 쿼리가 필요했다.
• 다양성 인식 전략은 대체 모델의 결정 경계가 타겟 오라클의 결정 경계와 일치하도록 수렴하는 데 상당한 가속 효과를 보였다.
• CIFAR-10에서 타겟 모델 정확도가 10% 미만이 되도록 하는 데 필요한 쿼리 수는 기준 방법 기준 10,000개 이상이었으나, 개선된 방법은 1,000개 이하로 줄였다.
• C&W/DeepFool 기반 데이터 생성과 활성 학습에 다양성 기준을 통합한 조합은 쿼리 효율성과 모델 유사도 측면에서 모든 기준 방법을 능가했다.