[논문 리뷰] A framework for the extraction of Deep Neural Networks by leveraging public data

Soham Pal, Yash Gupta외 4명|arXiv (Cornell University)|2019. 05. 22.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 41

한 줄 요약

이 논문은 보안 쿼리 예산하에서 비밀 MLaaS 모델에 근접하기 위해 범용 절도 데이터셋과 활성 학습을 활용한 실용적인 DNN 모델 추출 프레임워크를 제시합니다.

ABSTRACT

Machine learning models trained on confidential datasets are increasingly being deployed for profit. Machine Learning as a Service (MLaaS) has made such models easily accessible to end-users. Prior work has developed model extraction attacks, in which an adversary extracts an approximation of MLaaS models by making black-box queries to it. However, none of these works is able to satisfy all the three essential criteria for practical model extraction: (1) the ability to work on deep learning models, (2) the non-requirement of domain knowledge and (3) the ability to work with a limited query budget. We design a model extraction framework that makes use of active learning and large public datasets to satisfy them. We demonstrate that it is possible to use this framework to steal deep classifiers trained on a variety of datasets from image and text domains. By querying a model via black-box access for its top prediction, our framework improves performance on an average over a uniform noise baseline by 4.70x for image tasks and 2.11x for text tasks respectively, while using only 30% (30,000 samples) of the public dataset at its disposal.

연구 동기 및 목표

• MLaaS의 모델 프라이버시 문제를 제기하고 실용적 추출이 비밀 DNN에 대한 위협인 이유를 설명합니다.
• 도용 데이터로 범용 공개 데이터셋을 활용하고 활성 학습으로 대체 모델을 구축하는 프레임워크를 제안합니다.
• 제한된 쿼리로 이미지 및 텍스트 도메인에서 DNN을 추출할 수 있음을 시연합니다.
• 추출 성능을 향상시키기 위한 앙상블 활성 학습 전략을 도입합니다.

제안 방법

• 이미지용 범용 도용 데이터셋과 텍스트용 범용 도용 데이터셋 정의(예: Vision의 ImageNet, NLP의 WikiText).
• 질의 비밀 모델에 대해 써드 샘플을 선택하기 위해 풀 기반 활성 학습을 사용합니다.
• 질의된 도용 데이터에서 얻은 라벨이 있는 샘플로 대체 모델을 학습하고 추가 쿼리로 반복적으로 개선합니다.
• 예산 내에서 정보 획득을 최대화하기 위해 무작위, 불확실성, k-center, 적대적, DFAL 등의 서브셋 선택 전략을 적용합니다.
• 불확실성, 다양성, 경계 중심 샘플링을 결합하는 앙상블 Adversarial+-kcenter 전략을 제안합니다.
• 비밀 모델과 대체 모델 간의 테스트 세트에서의 합의 정도를 통해 추출을 평가합니다.

실험 결과

연구 질문

• RQ1 범용 도용 데이터셋이 도메인 지식 없이 심층 신경망 추출을 가능하게 할 수 있는가?
• RQ2 활성 학습이 비밀 모델과 높은 합의를 달성하기 위해 필요한 쿼리 수에 어떤 영향을 미치는가?
• RQ3 범용 도용 데이터셋이 이미지 및 텍스트 작업에서 모델 추출 시 균일한 잡음보다 우월한가?
• RQ4 다양한 서브셋 선택 전략이 추출 성능에 어떤 영향을 미치는가?
• RQ5 앙상블 전략이 개별 활성 학습 전략보다 추출 성능을 개선하는가?

주요 결과

• 프레임워크는 30K 쿼리 예산에서 이미지에서 평균 4.70배, 텍스트에서 2.11배 더 높은 합의를 달성하여 균일 잡음 baselines보다 우수한 성능을 보입니다.
• 범용 도용 데이터셋은 비전과 NLP 작업 모두에 대해 도메인 특수 데이터의 효과적인 대체로 작용합니다.
• 앙상블 Adversarial+-kcenter 전략은 경계 중심 샘플링과 다양한 샘플링을 결합하여 추출 성능을 향상시킵니다.
• 활성 학습 전략은 여러 데이터 세트에서 높은 합의를 유지하면서 쿼리 요구를 상당히 줄입니다.
• 이미지 작업의 경우 30K 쿼리에서 전략별 합의가 다양하게 나타나며, 전체 도용 데이터와 균일 잡음 베이스라인이 맥락을 제공합니다(예: MNIST 변형에서 전체 도용 데이터의 합의가 98.81%에 이릅니다).
• 이 접근법은 현실적인 쿼리 예산 하에서 DNN 추출의 실용적 가능성을 보여줍니다.