[논문 리뷰] Learning Black-Box Attackers with Transferable Priors and Query Feedback

Jiancheng Yang, Yangzhou Jiang외 3명|arXiv (Cornell University)|2020. 10. 21.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 42

한 줄 요약

논문은 전이 기반과 쿼리 기반 단계를 교대로 수행하고 High-Order Gradient Approximation으로 온라인에서 대리 모델을 학습하는 LeBA를 소개하여 이미지넷 방어에서 효율성과 성공률을 크게 향상시킵니다.

ABSTRACT

This paper addresses the challenging black-box adversarial attack problem, where only classification confidence of a victim model is available. Inspired by consistency of visual saliency between different vision models, a surrogate model is expected to improve the attack performance via transferability. By combining transferability-based and query-based black-box attack, we propose a surprisingly simple baseline approach (named SimBA++) using the surrogate model, which significantly outperforms several state-of-the-art methods. Moreover, to efficiently utilize the query feedback, we update the surrogate model in a novel learning scheme, named High-Order Gradient Approximation (HOGA). By constructing a high-order gradient computation graph, we update the surrogate model to approximate the victim model in both forward and backward pass. The SimBA++ and HOGA result in Learnable Black-Box Attack (LeBA), which surpasses previous state of the art by considerable margins: the proposed LeBA significantly reduces queries, while keeping higher attack success rates close to 100% in extensive ImageNet experiments, including attacking vision benchmarks and defensive models. Code is open source at https://github.com/TrustworthyDL/LeBA.

연구 동기 및 목표

• 피실험 대상 모델의 확신도만 접근 가능한 블랙박스 적대적 공격의 동기 부여 및 문제 제기.
• 전이 기반 공격과 쿼리 기반 공격을 대리 모델과 결합하여 단순하지만 강력한 기준선(SimBA++)을 개발.
• 제한된 쿼리 피드백을 사용하여 대리 모델을 업데이트하는 High-Order Gradient Approximation(HOGA)을 제안.
• 대규모 벤치마크에서 높은 공격 성공률과 낮은 쿼리 수를 달성하는 학습 가능한 전이 가능한 대리 모델을 가진 LeBA를 제시.
• 대응 모델에 대한 강건성 입증 및 대리 모델 선택 및 학습 전략의 영향 분석

제안 방법

• 대리 모델을 활용하여 쿼리扰 perturbation을 안내하고 공간적 사전 정보를 통합하기 위해 SimBA+와 SimBA++를 도입합니다.
• 전이 기반 공격 TIMI와 쿼리 기반 SimBA 스타일 업데이트를 교대 프레임워크(SimBA++)로 결합합니다.
• 쿼리 피드백을 통해 학습 가능한 대리 모델을 업데이트하는 LeBA를 제안합니다(HOGA).
• 전방/후방 손실(FL, BL)과 대리 그래디언트를 피해자 그래디언트와 정렬하는 그래디언트 보상 계수 정의
• 쿼리 샘플 버퍼와 동적 대리 업데이트 제도를 사용하여 효율성과 전이 가능성을 향상시킵니다.
• 재현 가능한 평가를 위해 LeBA의 오픈 소스 구현을 제공합니다.

실험 결과

연구 질문

• RQ1 대리 모델이 안내하는 전이 지향 공격이 블랙박스 공격의 효율성을 향상시킬 수 있는가?
• RQ2 전이 기반 공격과 쿼리 기반 공격을 번갈아 수행하는 것이 어느 한 쪽만 사용할 때보다 성공률이 높은가?
• RQ3 쿼리 피드백으로 업데이트되는 학습 가능한 대리 모델(HOGA)이 피해자 모델을 근접하게 근사하여 쿼리 수를 더 줄일 수 있는가?
• RQ4 대리 모델의 선택과 그래디언트 보상이 LeBA의 성능에 미치는 영향은 ImageNet에서 강력한 방어에 대해 어떻게 나타나는가?

주요 결과

• LeBA는 이미지넷의 여러 피해자 모델에서 평균 쿼리 수를 크게 줄이면서 공격 성공률을 거의 100%에 가깝게 달성합니다.
• SimBA++와 LeBA는 전이 가능성 및 효율성 측면에서 이전 최첨단의 블랙박스 공격보다 우수하며, 특히 방어 모델에 대해 더 강합니다.
• 학습된 대리 모델(HOGA)을 사용하면 새로운 공격 데이터로의 전이가 가능하고 전이 기반 공격과 결합 시 성능이 향상됩니다.
• 대리 모델의 선택(ResNet 변형 또는 VGG-16)에 따라 쿼리 효율이 지속적으로 개선되며, 이는 HOGA의 대리 선택에 대한 강인성을 시사합니다.
• 적절한 그래디언트 보상과 Forward/Backward 손실의 결합이 LeBA의 최적 성능에 기여함이 Ablation에서 확인됩니다.
• JPEG, 디노이즈, 적대적 학습과 같은 방어 시나리오에서도 LeBA는 이전 방법들에 비해 훨씬 적은 쿼리로 높은 ASR을 유지합니다.