[논문 리뷰] There are No Bit Parts for Sign Bits in Black-Box Attacks

Abdullah Al-Dujaili, Una-May O’Reilly|arXiv (Cornell University)|2019. 02. 19.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 14

한 줄 요약

이 논문은 기울기의 크기 대신 기울기의 부호만 추정하는 새로운 블랙박스 적대적 공격인 SignHunter을 소개한다. 이는 최신의 쿼리 효율성을 달성한다. 기울기 부호 벡터와의 해밍 거리 최소화를 통해 적대적 공격을 이진 최적화 문제로 재정의함으로써 SignHunter은 쿼리 복잡도를 감소시키고, MNIST, CIFAR10, ImageNet에서 기존 방법보다 3.8배 낮은 실패율과 2.5배 적은 쿼리 수를 기록한다. 공격당 10,000개의 쿼리로 제한된 조건에서 성능을 발휘한다.

ABSTRACT

We present a black-box adversarial attack algorithm which sets new state-of-the-art model evasion rates for query efficiency in the $\ell_\infty$ and $\ell_2$ metrics, where only loss-oracle access to the model is available. On two public black-box attack challenges, the algorithm achieves the highest evasion rate, surpassing all of the submitted attacks. Similar performance is observed on a model that is secure against substitute-model attacks. For standard models trained on the MNIST, CIFAR10, and IMAGENET datasets, averaged over the datasets and metrics, the algorithm is 3.8x less failure-prone, and spends in total 2.5x fewer queries than the current state-of-the-art attacks combined given a budget of 10, 000 queries per attack attempt. Notably, it requires no hyperparameter tuning or any data/time-dependent prior. The algorithm exploits a new approach, namely sign-based rather than magnitude-based gradient estimation. This shifts the estimation from continuous to binary black-box optimization. With three properties of the directional derivative, we examine three approaches to adversarial attacks. This yields a superior algorithm breaking a standard MNIST model using just 12 queries on average!

연구 동기 및 목표

• 연속적인 기울기 추정에 의존하는 기존 블랙박스 적대적 공격의 높은 쿼리 복잡도 문제를 해결하기 위해.
• 기울기의 크기 대신 부호만 추정하는 것이 더 적은 쿼리로도 유사하거나 더 높은 적대적 성공률을 달성할 수 있는지 조사하기 위해.
• 데이터에 의존하는 사전 지식이나 기울기 접근이 필요 없는, 쿼리 효율적이고 초파rameter가 없는 블랙박스 공격을 개발하기 위해.
• 제로번째 순서 최적화의 새로운 패러다임을 수립하기 위해, 적대적 공격을 부호 기반의 이진 탐색 문제로 간주하기 위해.

제안 방법

• 진짜 기울기 부호 벡터와의 해밍 거리 최소화를 통해 블랙박스 적대적 공격을 이진 최적화 문제로 재정의함으로써, 연속 최적화에서 이진 최적화로의 전환을 이룬다.
• 방향 도함수의 세 가지 성질—분리 가능성, 대칭성, 단조성—을 활용하여 효율적인 부호 추정을 설계한다.
• 분리 가능성에 기반한 분할 정복 전략을 적용하여, 검색 공간을 2^n에서 O(n)의 부호 벡터로 감소시킨다.
• 손실 쿼리를 이용한 유한 차분 근사법을 사용하여 방향 도함수를 추정하고 기울기 부호 비트를 유추한다.
• 최소한의 쿼리로 정확한 부호 패턴을 향해 탐색을 이끄는 해밍 거리 오라클을 도입한다.
• 쿼리 예산을 고려한 적응 전략을 사용하여 손실 변화에 큰 영향을 미치는 좌표를 우선순위로 정한다.

실험 결과

연구 질문

• RQ1 기울기 부호 추정만으로도 크기 기반 기울기 추정보다 훨씬 적은 쿼리로 높은 적대적 성공률을 달성할 수 있는가?
• RQ2 부호 기반 블랙박스 공격이 기존 최고 성능 방법보다 쿼리 효율성과 회피율 측면에서 뛰어나게 성능을 냈는가?
• RQ3 초파rameter 조정이나 데이터에 의존하는 사전 지식을 피하는 방법이 여전히 블랙박스 공격에서 뛰어난 성능을 달성할 수 있는가?
• RQ4 부호 기반 기울기 추정의 이론적 쿼리 복잡도 하한은 무엇인가?
• RQ5 블랙박스 제약 조건 하에서 부호 기반 공격의 성능은 FGSM과 같은 전체 기울기 기반 방법과 비교해 어떻게 되는가?

주요 결과

• SignHunter는 두 개의 공개 블랙박스 공격 챌린지에서 가장 높은 회피율을 기록하며, 제출된 모든 공격을 압도했다.
• MNIST, CIFAR10, ImageNet에서 표준 모델을 훈련시킨 결과, 10,000개의 쿼리 예산 하에서 기존 최고 성능 방법 대비 실패율을 3.8배 감소시키고 총 쿼리 수를 2.5배 줄였다.
• 알고리즘은 평균적으로 12개의 쿼리만으로 표준 MNIST 모델을 성공적으로 속였으며, 전체 기울기 접근이 필요한 FGSM보다 뛰어난 성능을 보였다.
• SignHunter는 초파rameter 조정이나 데이터/시간에 의존하는 사전 지식이 필요 없어, 강건하고 쉽게 배포할 수 있다.
• 대체 모델 공격에 대비하여 보호된 모델들에서도 높은 성능를 유지하여 강력한 일반화 능력을 입증했다.
• 쿼리 수가 증가할수록 추정된 기울기 부호와 진짜 기울기 부호 간의 해밍 유사도가 급격히 증가하여 효과적인 부호 복구가 이루어지고 있음을 확인했다.