[논문 리뷰] Query Efficient Decision Based Sparse Attacks Against Black-Box Deep Learning Models

Viet Quoc Vo, Ehsan Abbasnejad외 1명|arXiv (Cornell University)|2022. 01. 31.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 블랙박스 딥러닝 모델을 대상으로 하는 진화 기반의 쿼리 효율적인 결정 기반 희소 공격인 SparseEvo를 제안한다. 기존 방법보다 훨씬 적은 쿼리로 최신 기술 수준의 공격 성공률를 달성하며, 비타겟 설정에서는 5,000개의 쿼리로, 타겟 설정에서는 20,000개의 쿼리로 ImageNet에서 화이트박스 PGD₀ 성능을 재현한다. 또한 컨volutional 네트워크와 비전 트랜스포머 모두에 대해 강건성을 보여준다.

ABSTRACT

Despite our best efforts, deep learning models remain highly vulnerable to even tiny adversarial perturbations applied to the inputs. The ability to extract information from solely the output of a machine learning model to craft adversarial perturbations to black-box models is a practical threat against real-world systems, such as autonomous cars or machine learning models exposed as a service (MLaaS). Of particular interest are sparse attacks. The realization of sparse attacks in black-box models demonstrates that machine learning models are more vulnerable than we believe. Because these attacks aim to minimize the number of perturbed pixels measured by l_0 norm-required to mislead a model by solely observing the decision (the predicted label) returned to a model query; the so-called decision-based attack setting. But, such an attack leads to an NP-hard optimization problem. We develop an evolution-based algorithm-SparseEvo-for the problem and evaluate against both convolutional deep neural networks and vision transformers. Notably, vision transformers are yet to be investigated under a decision-based attack setting. SparseEvo requires significantly fewer model queries than the state-of-the-art sparse attack Pointwise for both untargeted and targeted attacks. The attack algorithm, although conceptually simple, is also competitive with only a limited query budget against the state-of-the-art gradient-based whitebox attacks in standard computer vision tasks such as ImageNet. Importantly, the query efficient SparseEvo, along with decision-based attacks, in general, raise new questions regarding the safety of deployed systems and poses new directions to study and understand the robustness of machine learning models.

연구 동기 및 목표

• 제한된 출력 액세스 조건에서 블랙박스 딥러닝 모델에 대한 쿼리 효율적이고 결정 기반의 희소 공격에 대한 핵심적 격차를 메우기 위해.
• l₀-노름 제약 조건이 있는 희소 공격 하에서 비전 트랜스포머(ViT)와 컨volutional 네트워크(ResNet50)의 강건성을 평가하기 위해.
• 최소한의 모델 쿼리로 높은 공격 성공률를 달성하는 방법을 개발하여 실세계 시스템에서 확장 가능하고 도청 가능성이 높은 대비 공격을 가능하게 하기 위해.
• 결정 기반 설정 하에서 비전 트랜스포머가 컨volutional 네트워크보다 더 취약한지, 아니면 덜 취약한지 조사하기 위해.

제안 방법

• SparseEvo는 모델의 결정 피드백(예측 레이블)을 기반으로 픽셀 집합을 선택하고 변형함으로써 반복적으로 희소 편향을 최적화하는 진화 알고리즘을 사용한다.
• 각 개체가 후보 편향 패턴을 나타내는 인구 기반 검색 전략을 사용하며, 적합도는 오분류 성공 여부에 의해 결정된다.
• 편향는 소수의 픽셀(낮은 l₀ 노름)을 수정하여 생성되며, 각 쿼리 후 모델의 상위 1개 예측 레이블을 기반으로 검색이 이뤄진다.
• 높은 영향력 있는 픽셀 변경에 집중하고 적응형 변형 전략을 사용함으로써 쿼리 효율성을 유지한다.
• 모델의 예측 클래스 레이블 외에 점수나 기울기 정보가 필요로 하지 않는 결정 기반 설정에서 작동한다.
• 쿼리 예산과 희소성 임계값에 대한 분석을 포함하여, ResNet50와 비전 트랜스포머(ViT) 모델을 사용해 ImageNet에서 알고리즘을 평가한다.

실험 결과

연구 질문

• RQ1 Pointwise와 같은 기존 방법보다 훨씬 적은 쿼리로 결정 기반 희소 공격가 높은 성공률를 달성할 수 있는가?
• RQ2 블랙박스 설정 하에서 l₀-노름 희소 공격 하에서 비전 트랜스포머의 강건성은 컨볼루션 네트워크보다 어떻게 다른가?
• RQ3 쿼리 효율적인 블랙박스 공격가 공격 성공률와 희소성 측면에서 화이트박스 PGD₀ 공격 성능에 얼마나 가까이 다가갈 수 있는가?
• RQ4 SparseEvo의 진화 기반 검색 전략이 기울기 기반 또는 무작위 검색 방법보다 낮은 희소성의 대비 예제를 더 빨리 수렴시킬 수 있는가?

주요 결과

• 비타겟 설정에서 1,000개의 쿼리로 SparseEvo는 Pointwise가 5,000개의 쿼리로 달성하는 것보다 높은 공격 성공률를 기록한다.
• 타겟 설정에서 10,000개의 쿼리로 SparseEvo는 Pointwise가 20,000개의 쿼리로 달성하는 성능을 초월한다. 이는 훨씬 높은 쿼리 효율성을 보여준다.
• 비타겟 설정에서 5,000개의 쿼리로 SparseEvo는 ImageNet에서 이상적인 화이트박스 PGD₀ 공격와 동일한 공격 성공률를 달성한다.
• 타겟 설정에서 20,000개의 쿼리로 SparseEvo는 희소성 임계값이 0.01를 초과할 경우 PGD₀와 유사한 성능을 보인다.
• 비타겟 설정에서 3,000개의 쿼리로 SparseEvo는 ImageNet에서 평균 희소성 78개의 편향 픽셀(전체 50,176개 중)을 달성하며, Pointwise보다 훨씬 낮다.
• 비전 트랜스포머(ViT)는 ResNet50보다 더 높은 강건성을 보인다: 2,000개의 쿼리로 SparseEvo는 ResNet50를 PGD₀ 수준으로 떨어뜨리지만, ViT를 동일한 수준으로 떨어뜨리기 위해선 5,000개의 쿼리가 필요하다.