[논문 리뷰] Hybrid Batch Attacks: Finding Black-box Adversarial Examples with Limited Queries

Fnu Suya, Jianfeng Chi외 2명|arXiv (Cornell University)|2019. 08. 19.

Adversarial Robustness in Machine Learning인용 수 34

한 줄 요약

이 논문은 전이 기반 공격과 최적화 기반 흑박 공격을 혼합한 하이브리드 공격을 제시하고, 로컬 모델의 적대 후보에서 최적화를 시작하고 최적화 결과를 사용해 로컬 모델을 조정함으로써 쿼리 비용을 크게 줄이고 성공률을 높임을 보인다.

ABSTRACT

We study adversarial examples in a black-box setting where the adversary only has API access to the target model and each query is expensive. Prior work on black-box adversarial examples follows one of two main strategies: (1) transfer attacks use white-box attacks on local models to find candidate adversarial examples that transfer to the target model, and (2) optimization-based attacks use queries to the target model and apply optimization techniques to search for adversarial examples. We propose hybrid attacks that combine both strategies, using candidate adversarial examples from local models as starting points for optimization-based attacks and using labels learned in optimization-based attacks to tune local models for finding transfer candidates. We empirically demonstrate on the MNIST, CIFAR10, and ImageNet datasets that our hybrid attack strategy reduces cost and improves success rates. We also introduce a seed prioritization strategy which enables attackers to focus their resources on the most promising seeds. Combining hybrid attacks with our seed prioritization strategy enables batch attacks that can reliably find adversarial examples with only a handful of queries.

연구 동기 및 목표

• 실제 제약 하에서 흑박(블랙박스) 적대적 공격의 쿼리 효율성을 이해한다.
• 로컬 모델 시작점과 최적화 기반 정교화를 활용한 하이브리드 공격을 제안한다.
• 제한된 쿼리로 배치 공격을 가능하게 하는 시드 우선순위 기법을 조사한다.
• 일반 타깃과 강건 타깃을 대상으로 MNIST, CIFAR-10, ImageNet에서 효과를 평가한다.

제안 방법

• 여러 로컬 모델의 앙상블을 사용해 화이트박스 공격으로 후보 적대적 예제를 생성한다.
• 로컬 후보에서 시작하여 대상 모델에 대해 적대적 예제를 만드는 블랙박스 최적화를 수행한다.
• 최적화 과정에서 생성된 라벨이 부여된 입력을 사용해 로컬 모델을 재학습 또는 미세조정하여 전달가능성을 높인다.
• 배치 설정에서 가장 유망한 시드에 쿼리를 집중하도록 시드 우선순위 전략을 도입한다.
• MNIST, CIFAR-10, ImageNet에서 공격 성공률과 쿼리 비용의 개선을 측정한다.

실험 결과

연구 질문

• RQ1 전이와 최적화 공격을 하이브리드화하면 흑박 설정에서 적대적 예제를 찾는 데 필요한 쿼리 수를 줄일 수 있는가?
• RQ2 로컬 모델의 후보 적대 예제가 최적화 공격의 더 나은 시작점이 되는가?
• RQ3 최적화에서 얻은 라벨이 로컬 모델의 전달성(전이)을 강화하도록 개선하는가?
• RQ4 제한된 쿼리 예산에서 배치 공격에 대한 시드 우선순위는 얼마나 효과적인가?

주요 결과

• 하이브리드 공격은 MNIST, CIFAR-10, ImageNet에서 순수 전이 공격이나 순수 최적화 접근법에 비해 성공률을 높이고 쿼리 비용을 줄인다.
• 로컬 모델의 적대 후보에서 최적화를 시작하면 쿼리/적대 예제 및 쿼리/시드가 상당히 감소한다.
• 최적화에서 얻은 라벨을 사용해 로컬 모델을 미세조정하면 많은 경우 전달가능성이 향상된다.
• 시드 우선순위는 배치 공격의 쿼리를 크게 감소시킨다(예: 100개의 시드에서 10개의 AE를 찾을 때 ImageNet에서 상당한 절감).
• ImageNet의 경우 단일 로컬 모델에서의 기본 전달율은 3.4%까지 낮아질 수 있지만 하이브리드 공격은 쿼리를 크게 줄이면서 거의 100%에 근접한 성공률에 도달한다.