[논문 리뷰] Black-box Adversarial Attacks with Bayesian Optimization

Satya Narayan Shukla, Anit Kumar Sahu외 2명|arXiv (Cornell University)|2019. 09. 30.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 25

한 줄 요약

이 논문은 낮은 차원의 잠재공간에서 베이지안 최적화(BO)를 사용하고 최근접 이웃 업샘플링을 적용하여 쿼리 효율적인 블랙박스 적대적 공격을 제안한다. Bayes-Attack는 이전 방법들보다 최대 80% 적은 쿼리로 최신 기준 성능을 달성하며, 특히 100~200개의 쿼리 제한 조건에서 매우 효과적이다.

ABSTRACT

We focus on the problem of black-box adversarial attacks, where the aim is to generate adversarial examples using information limited to loss function evaluations of input-output pairs. We use Bayesian optimization~(BO) to specifically cater to scenarios involving low query budgets to develop query efficient adversarial attacks. We alleviate the issues surrounding BO in regards to optimizing high dimensional deep learning models by effective dimension upsampling techniques. Our proposed approach achieves performance comparable to the state of the art black-box adversarial attacks albeit with a much lower average query count. In particular, in low query budget regimes, our proposed method reduces the query count up to $80\%$ with respect to the state of the art methods.

연구 동기 및 목표

• 기존 방법이 수천~수만 개의 쿼리가 필요로 하는 극도로 제한된 쿼리 예산 조건에서의 블랙박스 적대적 공격 문제를 해결하기 위해.
• 블랙박스 최적화에서 함수 평가 횟수를 최소화하는 것으로 잘 알려진 베이지안 최적화를 활용하여 쿼리 효율성을 향상시키기 위해.
• 고차원 딥러닝 입력과 BO가 고차원 탐색 공간에서 어려움을 겪는 실질적 제약 사이의 격차를 메우기 위해.
• 표준 BO 접근법이 효과적인 차원 축소 및 업샘플링과 결합될 경우, 저쿼리 블랙박스 공격의 강력한 베이스라인으로 기능할 수 있는지 평가하기 위해.

제안 방법

• 입력 이미지에서 유도된 낮은 차원의 잠재공간에서 베이지안 최적화를 수행하여 탐색 차원을 크게 줄인다.
• 최근접 이웃 업샘플링 기법을 통해 최적화된 잠재공간의 페르터베이션을 원래 입력 공간으로 복원하며, 적대적 성질을 유지한다.
• 공격 프레임워크는 손실 함수 평가(로짓 또는 예측값)만을 사용하므로, 기울기 접근이 불가능한 블랙박스 환경에 적합하다.
• 가우스 프로세스 서rogate 모델과 할당 함수(예: 기대 개선도)를 사용하여 잠재공간을 최적화하며, 쿼리 효율적인 탐색을 이끈다.
• ImageNet 및 MNIST 분류기에서 적용되었으며, 사전 학습된 모델과 표준 적대적 공격 프로토콜(ℓ∞ 기준)을 사용하였다.
• MNIST의 경우, VAE 및 오토인코더를 포함한 여러 업샘플링 방법을 비교하였으며, 최근접 이웃 방식이 대규모 학습 데이터가 필요 없이도 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 고차원 입력 공간에서 쿼리 효율적인 블랙박스 적대적 공격을 생성하기 위해 베이지안 최적화를 효과적으로 적용할 수 있는가?
• RQ2 업샘플링 방법의 선택(예: 최근접 이웃 vs. VAE)이 공격의 성공률과 쿼리 효율성에 어떤 영향을 미치는가?
• RQ3 블랙박스 적대적 공격에서 베이지안 최적화에 최적의 잠재 차원은 무엇이며, 성능에 어떤 영향을 미치는가?
• RQ4 간단한 표준 BO 접근법이 저쿼리 예산 조건에서 더 복잡한 전용 쿼리 효율 공격 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ5 제안된 방법은 최신 기준 베이스라인과 비교해 평균 및 중앙 쿼리 수를 크게 줄이며 경쟁 가능한 성공률을 달성할 수 있는가?

주요 결과

• 200개의 쿼리 예산으로 ImageNet에서 Bayes-Attack은 평균 22개 쿼리, 중앙값 6개 쿼리로 62.95%의 성공률를 달성했으며, 다음으로 좋은 방법인 Parsimonious보다 쿼리 효율성이 80% 높았다.
• 200개 이하의 쿼리 예산 범위에서 Bayes-Attack은 최신 기준 방법들 대비 평균 쿼리 수를 최대 80%까지 줄였고, 성공률는 유지하거나 초월했다.
• 최근접 이웃 업샘플링은 VAE 기반 디코더와 비슷한 성능을 보였지만 대규모 사전 학습이 필요 없어 더 실용적이고 효율적이었다.
• ℓ∞ 무타겟 공격에서 ε=1.0 조건 하에 ResNet50, Inception-v3, VGG16-bn 등 다양한 아키텍처에서 뛰어난 강건성을 보였다.
• 잠재 차원 분석 결과, 낮은 차원(예: d′=16)이 높은 차원(예: d′=256)보다 우수했으며, d′=9는 효과적인 페르터베이션을 찾기에 너무 낮았다.
• 결과적으로, 베이지안 최적화는 저쿼리 환경에서 블랙박스 적대적 공격의 표준 베이스라인으로 고려되어야 한다.