[논문 리뷰] Prediction Poisoning: Utility-Constrained Defenses Against Model Stealing Attacks

Tribhuvanesh Orekondy, Bernt Schiele외 1명|arXiv (Cornell University)|2020. 04. 01.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 클라우드 API를 통해 배포된 고성능 DNN에 대한 블랙박스 쿼리 기반 DNN 모델 도용 공격을 방지하기 위해 예측을 능동적으로 왜곡하여 공격자의 학습 목표를 오염시키는 예측 오염(Prediction Poisoning)을 제안한다. 일반 사용자 기능에 미치는 영향을 최소화하면서도 공격자 정확도를 최대 85배까지 감소시켜 다양한 데이터셋과 공격 시나리오에서 수동 방어 기법보다 뛰어난 성능을 발휘한다.

ABSTRACT

High-performance Deep Neural Networks (DNNs) are increasingly deployed in many real-world applications e.g., cloud prediction APIs. Recent advances in model functionality stealing attacks via black-box access (i.e., inputs in, predictions out) threaten the business model of such applications, which require a lot of time, money, and effort to develop. Existing defenses take a passive role against stealing attacks, such as by truncating predicted information. We find such passive defenses ineffective against DNN stealing attacks. In this paper, we propose the first defense which actively perturbs predictions targeted at poisoning the training objective of the attacker. We find our defense effective across a wide range of challenging datasets and DNN model stealing attacks, and additionally outperforms existing defenses. Our defense is the first that can withstand highly accurate model stealing attacks for tens of thousands of queries, amplifying the attacker's error rate up to a factor of 85x with minimal impact on the utility for benign users.

연구 동기 및 목표

• 클라우드 API를 통해 배포된 고성능 DNN에 대한 점점 증가하는 모델 도용 공격 위협을 해결하기 위해.
• 예측를 잘라내는 것 외에 아무것도 하지 않는 수동 방어 기법의 한계를 극복하기 위해, 이는 고도화된 도용 기법에 대해 효과가 없다.
• 합법 사용자 기능을 유지하면서도 공격자의 학습 과정을 능동적으로 방해하는 방어 기법을 설계하기 위해.
• 실제 쿼리 제약 조건 하에 다양한 데이터셋과 모델 도용 공격 변종에 대해 방어의 강건성을 평가하기 위해.

제안 방법

• 추론 중 모델 예측에 대상으로 설정된 왜곡을 도입하여, 공격자가 원래 모델을 재구성하는 능력을 떨어지게 하도록 특별히 설계된다.
• 왜곡은 공격자의 서브모델 학습 목표에서 오차를 최대화하도록 최적화되어 있어 학습 과정을 효과적으로 오염시킨다.
• 일반 사용자에게는 영향을 최소화하기 위해, 왜곡이 정상 추론 맥락에서 작고 인지하기 어려운 크기로 유지된다.
• 원본 모델 아키텍처나 학습 과정에 변화가 없이도 구현이 가능하며, 배포 시점에 적용된다.
• 기능 유지 제약 조건을 따르며, 왜곡된 예측이 합법 사용자에게도 정확하게 유지되도록 보장한다.
• 이 방법은 다양한 DNN 아키텍처와 데이터셋(예: ImageNet 및 CIFAR-10 포함)에 일반화 가능하고 효과적이다.

실험 결과

연구 질문

• RQ1 예측을 능동적으로 조작하는 방어 기법이 모델 도용 공격의 성능을 크게 떨어뜨릴 수 있는가?
• RQ2 수천 개의 쿼리가 허용되는 현실적인 조건에서, 매우 정확한 모델 도용 공격에 대해 이 방어 기법은 얼마나 효과적인가?
• RQ3 공격자를 방해하면서도 합법 사용자의 기능을 얼마나 잘 유지하는가?
• RQ4 예측을 잘라내거나 은폐하기만 하는 수동 방어 기법과 비교해 이 방어 기법은 어떻게 성능을 냈는가?
• RQ5 다양한 데이터셋과 DNN 아키텍처에 걸쳐 이 방어 기법은 여전히 효과적인가?

주요 결과

• 제안된 예측 오염 방어 기법은 오염되지 않은 학습 데이터 대비 공격자의 모델 정확도를 최대 85배까지 감소시킨다.
• 일반 사용자에게는 높은 기능을 유지하며, 표준 벤치마크에서 예측 정확도가 최소한으로 저하된다.
• 실제 쿼리 제약 조건(수천 개) 하에서 ImageNet 및 CIFAR-10을 포함한 다양한 데이터셋에서 효과적이다.
• 고도화된 블랙박스 도용 공격에 대해 효과가 없는 기존 수동 방어 기법보다 뛰어나다.
• 공격자가 정교한 쿼리 전략과 고정확도 서브모델을 사용하더라도 이 방어 기법은 강건성을 유지한다.
• 아키텍처 변경 없이도 다양한 DNN 아키텍처에 일반화 가능하고 적용 가능하다.