[논문 리뷰] A geometry-inspired decision-based attack

Yujia Liu, Seyed-Mohsen Moosavi-Dezfooli외 1명|arXiv (Cornell University)|2019. 03. 26.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 5

한 줄 요약

이 논문은 단일 예측(label)만을 이용해 적은 수의 쿼리로 적대적 예제를 생성하는 쿼리 효율적인 결정 기반 공격인 qFool을 제안한다. 이는 결정 경계의 평탄성에 대한 기하학적 통찰을 활용하여, 모델의 경계 근처에서의 평탄한 특성을 이용해 기울기 방향을 추정한다. 실제로 Google Cloud Vision을 공격할 때 500회 이내의 쿼리로도 성공적으로 공격할 수 있었으며, 이는 기존 방법들보다 훨씬 적은 쿼리 수로도 높은 인지 불가능성과 더불어 비대상 및 대상 설정 모두에서 뛰어난 성능을 보였다.

ABSTRACT

Deep neural networks have recently achieved tremendous success in image classification. Recent studies have however shown that they are easily misled into incorrect classification decisions by adversarial examples. Adversaries can even craft attacks by querying the model in black-box settings, where no information about the model is released except its final decision. Such decision-based attacks usually require lots of queries, while real-world image recognition systems might actually restrict the number of queries. In this paper, we propose qFool, a novel decision-based attack algorithm that can generate adversarial examples using a small number of queries. The qFool method can drastically reduce the number of queries compared to previous decision-based attacks while reaching the same quality of adversarial examples. We also enhance our method by constraining adversarial perturbations in low-frequency subspace, which can make qFool even more computationally efficient. Altogether, we manage to fool commercial image recognition systems with a small number of queries, which demonstrates the actual effectiveness of our new algorithm in practice.

연구 동기 및 목표

• 모델의 기울기나 확률 정보가 아닌 단지 최상위 1개 클래스 예측(label)만 제공되는 블랙박스 환경에서 적대적 예제를 생성하는 문제를 해결한다.
• 실제 시스템, 예를 들어 상용 API와 같은 비용이 큰 환경에서 결정 기반 공격에 필요한 쿼리 수를 줄인다.
• 적대적 예제 근처의 결정 경계가 局부적으로 평탄하다는 사실을 이용해, 최소한의 쿼리로도 기울기 방향을 정확히 추정함으로써 효율성을 향상시킨다.
• 편미로를 저주파 부분공간에 제약을 두어, 검색 공간의 차원을 줄이고 쿼리 수요를 더 줄이며, 동시에 공격 성공률을 유지함으로써 성능을 향상시킨다.
• 실제 상용 이미지 분류기인 Google Cloud Vision을 최소한의 쿼리로 성공적으로 공격함으로써 실용성을 입증한다.

제안 방법

• 적대적 예제 근처에서 결정 경계가 국소적으로 평탄하다는 관찰에 기반해, 모델 쿼리로부터 얻은 최상위 1개 예측(label)만을 사용해 결정 경계 기울기 방향을 추정한다.
• 비대상 공격에서는 추정된 기울기 방향을 따라 반복적으로 탐색하여, 오류 분류를 보장하면서도 편미로를 최소화하는 적대적 예제를 생성한다.
• 대상 공격의 경우, 결정 경계를 따라 다중점 기울기 추정을 수행하고, 목표 이미지를 기반으로 원하는 클래스 쪽으로 탐색을 유도한다.
• 편미로를 저주파 부분공간에 투영함으로써 부분공간 제약을 도입하여, 검색 공간의 차원을 줄이고 쿼리 효율성을 향상시킨다.
• 기울기 계산을 피하기 위해, 모델 쿼리와 레이블 피드백에 기반해 편미로를 갱신하는 단순한 반복 최적화 전략을 사용한다.
• 작고 저주파의 편미로가 더 효과적이고 탐지되기 어려우므로, 이 사실을 활용해 쿼리 제한 조건 하에서도 인지 불가능성과 공격 성공률을 모두 향상시킨다.

실험 결과

연구 질문

• RQ1 최상위 1개 예측(label)만 제공되는 환경에서, 얼마나 적은 수의 쿼리로도 적대적 예제를 생성할 수 있는가?
• RQ2 적대적 예제 근처에서 결정 경계가 기하학적으로 평탄하다는 사실이, 모델 기울기를 알 수 없을 때도 효율적인 기울기 추정을 가능하게 하는가?
• RQ3 편미로를 저주파 부분공간에 제약을 두면, 성공적인 공격에 필요한 쿼리 수가 얼마나 줄어들 수 있는가?
• RQ4 기존의 결정 기반 공격인 Boundary 공격과 비교해 qFool은 쿼리 효율성과 적대적 편미로 품질 측면에서 어떤가?
• RQ5 제한된 쿼리 예산 하에서 qFool은 실제 상용 이미지 인식 시스템을 효과적으로 속일 수 있는가?

주요 결과

• qFool은 이전의 결정 기반 공격에 비해, 특히 초기 쿼리 단계에서 수 개의 주기수(order of magnitude) 감소한 쿼리 수로 적대적 예제를 생성할 수 있었다.
• 비대상 공격에서 qFool은 기준 방법과 유사한 공격 성공률을 달성하면서도 훨씬 적은 쿼리 수를 사용했으며, 쿼리 분포도에서 30% 이상의 이미지가 단지 2회 반복만으로도 성공했다.
• 대상 공격에서 qFool은 Boundary 공격보다 빠르게 수렴했으며, 첫 수천 번의 쿼리 내에 더 작은 편미로를 찾는 데 성공했다. 비록 100,000 쿼리에서 곡선이 교차하더라도 말이다.
• 저주파 부분공간에 제약을 두었을 때, qFool은 VGG-19에서 전체 공간 대비 평균 제곱오차(MSE)를 1.12e-4로 달성했으며, 이는 전체 공간 대비 4.40e-4보다 훨씬 낮은 수치로, 더 낮은 쿼리 수로도 향상된 편미로 품질을 의미한다.
• Google Cloud Vision에서 qFool은 500~1500회 쿼리로만 이미지를 잘못 분류하는 데 성공했으며, 인지 불가능한 편미로(예: 'flag' 이미지의 경우 MSE = 2.66e-6)를 구현해 실제 적용 가능성과 실용성을 입증했다.
• 원본 이미지와 목표 이미지 사이의 픽셀 공간 거리와 쿼리 수 사이에는 상관관계가 없었으며, 이는 특성 공간의 유사성이 공간적 근접도보다 더 나은 예측 변수임을 시사한다.