[논문 리뷰] Improving Query Efficiency of Black-box Adversarial Attack

Yang Bai, Yuyuan Zeng외 4명|arXiv (Cornell University)|2020. 09. 24.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 7

한 줄 요약

이 논문은 이미지 구조 정보를 활용해 적대적 분포를 모델링하는 데 Neural Processes를 활용하는 쿼리 효율적인 블랙박스 적대적 공격인 NP-Attack를 제안한다. 국소(결정론적) 및 전역(잠재) 표현을 통합함으로써, 이전의 분포 기반 방법들인 ℒ-Attack과 비교해 쿼리 수를 최대 40% 감소시켜 ResNet18에서 CIFAR-10에 대해 평균 185회 쿼리로 100% 공격 성공률를 달성한다.

ABSTRACT

Deep neural networks (DNNs) have demonstrated excellent performance on various tasks, however they are under the risk of adversarial examples that can be easily generated when the target model is accessible to an attacker (white-box setting). As plenty of machine learning models have been deployed via online services that only provide query outputs from inaccessible models (e.g. Google Cloud Vision API2), black-box adversarial attacks (inaccessible target model) are of critical security concerns in practice rather than white-box ones. However, existing query-based black-box adversarial attacks often require excessive model queries to maintain a high attack success rate. Therefore, in order to improve query efficiency, we explore the distribution of adversarial examples around benign inputs with the help of image structure information characterized by a Neural Process, and propose a Neural Process based black-box adversarial attack (NP-Attack) in this paper. Extensive experiments show that NP-Attack could greatly decrease the query counts under the black-box setting.

연구 동기 및 목표

• 높은 성공률에도 불구하고 실용적 적용을 제한하는 기존 쿼리 기반 블랙박스 적대적 공격의 높은 쿼리 복잡도를 해결한다.
• 단순한 픽셀 기반 변환에 의존하는 대신, 이미지의 구조적 정보를 활용해 적대적 예시의 분포를 모델링하여 쿼리 효율성을 향상시킨다.
• Neural Processes(NPs)를 활용해 국소 및 전역 이미지 구조를 동시에 모델링함으로써, 더 효과적이고 효율적인 적대적 예시 생성을 가능하게 한다.
• ℒ-Attack 및 ZOO와 같은 최신 기술보다 훨씬 적은 쿼리 수로 더 높은 공격 성공률를 달성한다.
• 엄격한 변형 제약 조건 하에서 다양한 아키텍처와 데이터셋, 특히 ImageNet에 대해 일반화 능력을 입증한다.

제안 방법

• 적대적 예시의 분포를 모델링하기 위해 Neural Process(NP)를 사용하며, 인코더는 전반적인 맥락을 캡처하고 디코더는 국소 이미지 패치를 재구성한다.
• 선학습 단계에서 정상 이미지에 대해 NP를 학습하여 이미지 구조에 대한 사전을 학습한 후, 공격 생성 과정에서 쿼리 피드백을 활용해 미세조정한다.
• 잠재 변수(전역 맥락)와 결정론적 변수(국소 구조)를 별도 또는 함께 최적화하여 적대적 변형을 생성한다.
• 가시적 기반 최적화를 가능하게 하기 위해 Natural Evolution Strategy(NES)를 사용하여 잠재 변수와 결정론적 변수를 쿼리 기반으로 효율적으로 업데이트한다.
• 다중 해상도 재구성 헤드를 통합하여 32×32×3 패치를 처리함으로써 국소적이면서도 구조적으로 일관된 변형을 가능하게 한다.
• L∞-제약 조건 하에서 잠재 코드에서 적대적 예시를 재구성하기 위해 미분 가능 디코더를 사용하며, 잔차 연결과 ReLU 활성화 함수를 포함한다.

실험 결과

연구 질문

• RQ1 Neural Processes를 통해 이미지 사전 지식(구조적 정보)을 활용해 적대적 분포를 모델링할 경우, 블랙박스 공격에서 쿼리 복잡도를 크게 감소시킬 수 있는가?
• RQ2 국소 및 전역 이미지 구조 정보를 동시에 통합할 경우, 쿼리 기반 적대적 공격의 효율성과 효과성이 어떻게 향상되는가?
• RQ3 제안된 NP-Attack는 ℒ-Attack과 같은 기존의 분포 기반 방법보다 다양한 데이터셋과 아키텍처에서 쿼리 효율성과 공격 성공률 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 잠재 변수만 최적화하거나, 결정론적 변수만 최적화하거나, 둘 다 최적화하는 등의 다양한 최적화 전략은 생성된 적대적 예시의 품질과 쿼리 효율성에 어떤 영향을 미치는가?
• RQ5 엄격한 L∞ 변형 제약 조건 하에서 NP-Attack은 고해상도 데이터셋인 ImageNet에도 일반화 가능한가?

주요 결과

• NP-Attack는 CIFAR-10에서 ResNet18, VGG16, WideResNet에 대해 각각 평균 185회, 294회, 196회 쿼리로 100% 공격 성공률를 달성했으며, ℒ-Attack이 각각 311회, 430회, 335회 쿼리가 필요함에 비해 뛰어난 성능을 보였다.
• MNIST에서는 동일한 L∞ 제약 조건 하에서 NP-Attack이 90%의 적대적 예시를 생성하기 위해 ℒ-Attack보다 쿼리 수를 50% 이상 감소시켰다.
• 잠재 변수와 결정론적 변수를 모두 최적화하는 변종인 NP-Attack-RZ는 객체 중심과 배경 간에 공간적으로 균형 잡힌 더 자연스러운 보행을 생성한다.
• ImageNet에서 NP-Attack-R로 생성된 적대적 예시는 L∞ = 0.05 조건 하에서도 눈에 띄지 않으며, 실제 이미지에서 비추상화된 공격이 성공적으로 수행됨을 확인했다.
• ℒ-Attack에서 사용하는 픽셀 기반 함수보다 Neural Processes를 사용함으로써 분포 모델링이 더 효율적이며, 공격 성공률를 유지하거나 향상시키면서도 쿼리 복잡도를 최대 40% 감소시켰다.
• 절단 분석 결과, 잠재 변수(전역 맥락)를 최적화하는 것이 결정론적 경로만 최적화하는 것보다 더 뛰어난 성능을 내며, 공동 최적화(NP-Attack-RZ)는 안정적인 성능 균형을 제공함을 확인했다.