[논문 리뷰] Transferability of Adversarial Examples to Attack Cloud-based Image Classifier Service

Dou Goodman|arXiv (Cornell University)|2020. 01. 08.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 11

한 줄 요약

이 논문은 빠른 특징맵 손실 최적화를 활용해 클라우드 기반 이미지 분류기의 대상 모델을 모방하는 치환 모델을 사용하여, 이미지당 1~2개의 쿼리만으로 악성 예측 예제를 생성하는 새로운 블랙박스 공격 방법인 FFL-PGD를 제안한다. 이는 아마존, 구글, 마이크로소프트, 클라리파이 API에서 90% 이상의 성공률를 기록하며 실제 클라우드 환경에서의 높은 이행성과 실용성을 입증한다.

ABSTRACT

In recent years, Deep Learning(DL) techniques have been extensively deployed for computer vision tasks, particularly visual classification problems, where new algorithms reported to achieve or even surpass the human performance. While many recent works demonstrated that DL models are vulnerable to adversarial examples. Fortunately, generating adversarial examples usually requires white-box access to the victim model, and real-world cloud-based image classification services are more complex than white-box classifier,the architecture and parameters of DL models on cloud platforms cannot be obtained by the attacker. The attacker can only access the APIs opened by cloud platforms. Thus, keeping models in the cloud can usually give a (false) sense of security. In this paper, we mainly focus on studying the security of real-world cloud-based image classification services. Specifically, (1) We propose a novel attack method, Fast Featuremap Loss PGD (FFL-PGD) attack based on Substitution model, which achieves a high bypass rate with a very limited number of queries. Instead of millions of queries in previous studies, our method finds the adversarial examples using only two queries per image; and (2) we make the first attempt to conduct an extensive empirical study of black-box attacks against real-world cloud-based classification services. Through evaluations on four popular cloud platforms including Amazon, Google, Microsoft, Clarifai, we demonstrate that FFL-PGD attack has a success rate over 90\% among different classification services. (3) We discuss the possible defenses to address these security challenges in cloud-based classification services. Our defense technology is mainly divided into model training stage and image preprocessing stage.

연구 동기 및 목표

• 실세계의 클라우드 기반 이미지 분류 서비스가 블랙박스 악성 예측 공격에 얼마나 취약한지 조사하는 것.
• 블랙박스 환경에서 효과적인 악성 예측 예제를 생성하기 위해 필요한 쿼리 수를 줄이는 것.
• 알 수 없는 모델 아키텍처를 가진 다양한 클라우드 플랫폼 간에 악성 예측 예제의 이행성 평가.
• 모델 훈련 및 이미지 전처리 단계에서 실용적인 방어 전략을 제안하고 검증하는 것.

제안 방법

• 목표 클라우드 분류기의 동작을 모방하는 치환 모델 기반의 쿼리 효율적인 블랙박스 공격인 FFL-PGD를 제안한다.
• 치환 모델과 대상 모델 간의 특징맵을 일치시켜 악성 변형을 유도하는 빠른 특징맵 손실(FFL) 목적함수를 도입한다.
• FFL 목적함수를 사용해 프로젝티드 그래디언트 디센트(PGD) 최적화를 수행하여 최소한의 쿼리 비용으로 악성 예측 예제를 생성한다.
• 공개 데이터셋으로 훈련된 이행 가능한 대체 모델을 사용해 대상 클라우드 모델의 결정 경계를 근사한다.
• 고정밀도 근사 성능을 가진 대체 모델을 활용해 이미지당 쿼리 수를 1~2개로 제한한다.
• 아마존 Rekognition, 구글 클라우드 비전, 마이크로소프트 아웃레이크, 클라리파이를 포함한 네 가지 주요 클라우드 플랫폼에서 공격를 검증한다.

실험 결과

연구 질문

• RQ1 제한된 쿼리 접근으로 클라우드 기반 이미지 분류기에 효과적으로 악성 예측 예제를 생성할 수 있는가?
• RQ2 제안된 FFL-PGD 공격는 다양한 클라우드 플랫폼에서 성공률 및 쿼리 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 내부 모델 구조가 알려지지 않은 다양한 클라우드 기반 비전 API 간에 악성 예측 예제가 얼마나 잘 이행되는가?
• RQ4 클라우드 기반 AI 서비스에서 블랙박스 악성 예측 공격를 효과적으로 완화할 수 있는 방어 메커니즘은 무엇인가?

주요 결과

• FFL-PGD 공격는 아마존, 구글, 마이크로소프트, 클라리파이를 포함한 네 가지 평가된 클라우드 플랫폼에서 모두 90% 초과의 성공률를 기록한다.
• 이 방법은 이미지당 단 1~2개의 쿼리만 필요로 하여 이전의 수천 또는 수만 개의 쿼리가 필요한 방법들과 비교해 극적으로 감소시킨다.
• 공격는 대상 모델의 아키텍처와 파라미터가 알려지지 않은 상황에서도 악성 예측 예제의 강력한 이행성을 보여준다.
• 빠른 특징맵 손실(FFL) 구성요소는 대체 모델의 정밀도를 크게 향상시켜 최소한의 쿼리로 고품질의 악성 예측 예제 생성을 가능하게 한다.
• 실증적 평가를 통해 FFL-PGD로 제작된 악성 예측 예제는 테스트된 모든 클라우드 기반 이미지 분류 서비스에서 탐지 회피에 성공했다.
• 본 연구는 표준 방어 기법인 JPEG 압축 및 무작위화가 FFL-PGD 공격에 대해 제한된 보호 기능을 제공한다는 것을 밝혀냈다.