[논문 리뷰] Stealing Machine Learning Models via Prediction APIs

Florian Tramèr, Fan Zhang외 3명|arXiv (Cornell University)|2016. 09. 09.

Adversarial Robustness in Machine Learning인용 수 733

한 줄 요약

본 논문은 예측 API를 통해 제공되는 ML 모델에 대한 실용적인 모델 추출 공격을 시演하고, 신뢰도 값과 불완전한 입력을 포함한 출력 값을 사용하여 로지스틱 회귀, 신경망, 결정 트리 등을 포함한 대상 모델을 거의 완벽하게 복구하는 것을 보여주며, 대응책에 대해 논의한다.

ABSTRACT

Machine learning (ML) models may be deemed confidential due to their sensitive training data, commercial value, or use in security applications. Increasingly often, confidential ML models are being deployed with publicly accessible query interfaces. ML-as-a-service ("predictive analytics") systems are an example: Some allow users to train models on potentially sensitive data and charge others for access on a pay-per-query basis. The tension between model confidentiality and public access motivates our investigation of model extraction attacks. In such attacks, an adversary with black-box access, but no prior knowledge of an ML model's parameters or training data, aims to duplicate the functionality of (i.e., "steal") the model. Unlike in classical learning theory settings, ML-as-a-service offerings may accept partial feature vectors as inputs and include confidence values with predictions. Given these practices, we show simple, efficient attacks that extract target ML models with near-perfect fidelity for popular model classes including logistic regression, neural networks, and decision trees. We demonstrate these attacks against the online services of BigML and Amazon Machine Learning. We further show that the natural countermeasure of omitting confidence values from model outputs still admits potentially harmful model extraction attacks. Our results highlight the need for careful ML model deployment and new model extraction countermeasures.

연구 동기 및 목표

• MLaaS 맥락에서 예측 API를 통해 드러난 기밀 ML 모델의 위험을 동기부여하고 형식화한다.
• 일반적인 모델 계열(로지스틱 회귀, 신경망, 결정 트리)에서 실용적인 추출 공격을 시演한다.
• 실제 서비스에서 공격 효율성을 정량화하고, 클래스 레이블만 출력하는 등의 잠재적 대응책을 식별한다.
• 학습 데이터 및 회피에 대한 모델 추출의 프라이버시 및 보안에 미치는 영향을 강조한다.

제안 방법

• 대상 모델과의 근접도를 정량화하기 위해 테스트 및 균일 오류 지표를 사용한 블랙박스 모델 추출 프레임워크를 정의한다.
• 신뢰도 값이 포함된 출력과 비적응적 배치 방식 쿼리를 사용하여 로지스틱 모델의 매개변수를 회복하는 방정식 풀이 공격을 제시한다.
• 신뢰도 값을 식별자로 활용하여 결정 트리를 재구성하는 경로 탐색 공격을 개발한다.
• 실제 예측 API와 공개 데이터 세트를 사용하여 ML 서비스(Amazon 및 BigML)에 대한 공격을 평가한다.
• 다중 클래스 LR, 신경망, 커널 로지스틱 회귀에 대한 공격을 확장하여 데이터 누출 및 모델 재구성 능력을 보여준다.

실험 결과

연구 질문

• RQ1 예측과 신뢰도 값을 반환하는 ML 예측 API에 대한 블랙박스 접근만으로 공격자가 동등한 또는 정확한 모델을 복구할 수 있을까?
• RQ2 신뢰도 값과 불완전한 쿼리가 일반적인 모델 계열(LR, SVM, 신경망, 결정 트리)에 대해 효과적인 모델 추출을 가능하게 하는가?
• RQ3 현재의 MLaaS 제공자들(예: Amazon, BigML)에 대한 모델 추출의 실질적 시사점과 한계는 무엇인가?
• RQ4 어떤 대응책(예: 클래스 레이블만 출력)이 여전히 취약한가, 추가로 어떤 보호가 필요한가?
• RQ5 모델 추출이 학습 데이터 정보를 누설할 수 있으며, 어떤 체제(예: 커널 로지스틱 회귀)에서 이 누설이 뚜렷해지는가?

주요 결과

서비스	모델 유형	데이터 세트	쿼리 수	소요 시간(초)
Amazon	Logistic Regression	Digits	650	70
Amazon	Logistic Regression	Adult	1,485	149
BigML	Decision Tree	German Credit	1,150	631
BigML	Decision Tree	Steak Survey	4,013	2,088

• 방정식 풀이 공격은 비적응적 배치 쿼리를 사용하여 이진 및 다중 클래스 로지스틱 회귀와 신경망의 매개변수를 회복할 수 있다.
• 다중 클래스 LR 및 MLP의 경우 공격은 미지의 매개변수 수(k)만큼의 쿼리가 필요하며, 거의 완벽한 추출(R_test 및 R_unif가 거의 0에 가까움)을 달성한다.
• 결정 트리는 신뢰도 값을 준거 식별자로 취급하여 트리 경로를 발견함으로써 일부 대상에 대해 실용적인 정확 학습을 가능하게 한다.
• 실험에서 표로 제시된 결과는 서비스에 대한 빠른 추출을 보여준다: 예를 들어 Digits의 Amazon 로지스틱 회귀는 650 쿼리, 70초; Adult의 Amazon 로지스틱 회귀는 1,485 쿼리, 149초; German Credit의 BigML 결정 트리는 1,150 쿼리, 631초; Steak Survey의 BigML 결정 트리는 4,013 쿼리, 2,088초.
• 신뢰도 출력이 생략되어도 적응 공격은 다양한 모델에서 입력 공간에 대해 여전히 99% 이상 정확도를 달성할 수 있으며, 경우에 따라 필요한 쿼리 수는 최대 약 100배까지 증가한다.
• 커널 로지스틱 회귀는 회수된 표현자를 통해 학습 데이터 정보를 누설할 수 있으며 센서와 같은 학습 데이터 누출을 보일 수 있다.