[논문 리뷰] Query-limited Black-box Attacks to Classifiers

Fnu Suya, Yuan Tian외 2명|arXiv (Cornell University)|2017. 12. 23.

Adversarial Robustness in Machine Learning참고 문헌 15인용 수 14

한 줄 요약

이 논문은 각 쿼리가 비용이 많이 들거나 탐지 위험이 있는 기계 학습 분류기 대상으로 최소한의 쿼리 비용으로 적대적 예제를 생성하기 위해 베이지안 최적화(BO) 기반의 블랙박스 공격 전략을 제안한다. 공격를 제약 조건이 있는 최적화 문제로 모델링하고 BO를 사용해 지능적으로 쿼리 포인트를 선택함으로써, 랜덤 서치 대비 최대 90%까지 쿼리 수를 줄일 수 있으며, 특히 특성 수정 비용 예산이 낮을 경우에 효과적이다.

ABSTRACT

We study black-box attacks on machine learning classifiers where each query to the model incurs some cost or risk of detection to the adversary. We focus explicitly on minimizing the number of queries as a major objective. Specifically, we consider the problem of attacking machine learning classifiers subject to a budget of feature modification cost while minimizing the number of queries, where each query returns only a class and confidence score. We describe an approach that uses Bayesian optimization to minimize the number of queries, and find that the number of queries can be reduced to approximately one tenth of the number needed through a random strategy for scenarios where the feature modification cost budget is low.

연구 동기 및 목표

• 각 모델 쿼리가 비용이나 탐지 위험을 수반하는 블랙박스 적대적 공격에서 쿼리 상호작용 수를 최소화하는 데 도전한다.
• 특성 수정 비용 한도를 고려한 쿼리 수 최소화를 목표로 하는 제약 조건이 있는 최적화 문제로 공격 생성을 수립한다.
• 신경망과 SVM 등 임의의 연속형 분류기 모두에 적용 가능한 일반 목적의 공격 전략을 개발한다.
• 특히 비용 예산이 제한된 상황에서 랜덤 서치 대비 쿼리 효율성이 크게 향상됨을 입증한다.
• 스팸 필터링과 같이 쿼리 전송이 비용이 들거나 탐지 가능할 수 있는 실제 환경에서 실용적인 적대적 공격을 가능하게 한다.

제안 방법

• 적대적 공격 생성을 제약 조건이 있는 최적화 문제로 모델링: 쿼리 수 Q(x)를 최소화하면서 f(x) ≠ f(xA) 및 ||x − xA||₁ ≤ C 를 만족시킨다.
• 획득 함수를 사용해 반복적으로 유망한 쿼리 포인트를 선택함으로써 효율적인 적대적 예제 탐색을 위해 베이지안 최적화(BO)를 적용한다.
• 알 수 없는 분류기 함수를 모델링하기 위해 가우시안 프로세스 사전분포를 사용하고, 각 쿼리 이후 신뢰도를 갱신한다.
• 탐색(고도의 불확실성)과 이용(기존 클래스에 대한 예측 신뢰도가 낮음)을 균형 잡는 획득 함수를 정의한다.
• 성공적인 적대적 예제가 발견되거나 쿼리 수 한도에 도달하면 탐색을 종료한다.
• 목표 클래스 예측 확률을 최대화하도록 목적 함수를 수정함으로써 무관심 공격 및 타겟 공격 모두 지원한다.

실험 결과

연구 질문

• RQ1 베이지안 최적화는 블랙박스 환경에서 적대적 예제를 생성하기 위해 필요한 쿼리 수를 크게 줄일 수 있는가?
• RQ2 특성 수정 비용 예산이 낮을 경우, 제안된 BO 기반 공격은 랜덤 서치 대비 어떻게 성능을 발휘하는가?
• RQ3 선형 SVM, RBF SVM, ANN 등 다양한 유형의 분류기에서 BO 기반 방법의 쿼리 효율성은 어느 정도 유지되는가?
• RQ4 특성 수정 비용 예산을 변화시킬 때, 이 방법의 쿼리 효율성은 어떻게 스케일링되는가?
• RQ5 이 방법은 텍스트 기반 스팸 탐지 외의 다른 블랙박스 공격 시나리오로 일반화될 수 있는가?

주요 결과

• BO 기반 공격은 랜덤 서치 대비 평균 쿼리 수를 최대 90%까지 줄였으며, 특히 특성 수정 비용 예산이 낮을 경우에 매우 효과적이다.
• 비용 예산 C = 10인 ANN 분류기에서 BO 방법은 첫 번째 성공적인 적대적 예제를 찾는 데 평균 16개의 쿼리만 필요로 했고, 랜덤 서치는 400개 이상의 쿼리가 필요했다.
• BO의 성능 향상은 특히 저비용 제약 조건 하에서 두드러지며, 이 경우 랜덤 서치는 쿼리 한도 내에서 적대적 예제를 찾기 어려운 경향이 있다.
• 선형 SVM, RBF SVM, ANN 등 테스트한 모든 분류기에서 일관된 쿼리 수 감소를 달성하여 일반화 가능성을 입증했다.
• 쿼리 수를 50개로 제한하는 보수적인 추정치는 실제 성능 향상이 보고된 것보다 더 크다는 것을 시사하며, 이는 일반적으로 한도에 도달하기 전에 이미 수렴하는 경향이 있기 때문이다.
• 무관심 공격 및 타겟 공격 모두에서 이 방법이 효과적이며, 목적 함수를 쉽게 수정해 특정 클래스를 목표로 설정할 수 있다.