[논문 리뷰] EZClone: Improving DNN Model Extraction Attack via Shape Distillation from GPU Execution Profiles

Jonah O’Brien Weiss, Tiago M. Alves외 1명|arXiv (Cornell University)|2023. 04. 06.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

EZClone는 시간 시리즈 프로파일링이나 강력한 공격자 능력에 의존하지 않고, 집합적인 GPU 실행 프로파일을 활용하여 단지 세 가지 경험적으로 확인된 GPU 커널 특징만으로도 100% 정확도로 피해자의 딥 뉴럴 네트워크 아키텍처를 예측하는 새로운 경량 DNN 모델 추출 공격이다. 기존 방법과 달리 이는 실세계의 사이드채널 위협에 매우 효과적이고 실용적이다.

ABSTRACT

Deep Neural Networks (DNNs) have become ubiquitous due to their performance on prediction and classification problems. However, they face a variety of threats as their usage spreads. Model extraction attacks, which steal DNNs, endanger intellectual property, data privacy, and security. Previous research has shown that system-level side-channels can be used to leak the architecture of a victim DNN, exacerbating these risks. We propose two DNN architecture extraction techniques catering to various threat models. The first technique uses a malicious, dynamically linked version of PyTorch to expose a victim DNN architecture through the PyTorch profiler. The second, called EZClone, exploits aggregate (rather than time-series) GPU profiles as a side-channel to predict DNN architecture, employing a simple approach and assuming little adversary capability as compared to previous work. We investigate the effectiveness of EZClone when minimizing the complexity of the attack, when applied to pruned models, and when applied across GPUs. We find that EZClone correctly predicts DNN architectures for the entire set of PyTorch vision architectures with 100% accuracy. No other work has shown this degree of architecture prediction accuracy with the same adversarial constraints or using aggregate side-channel information. Prior work has shown that, once a DNN has been successfully cloned, further attacks such as model evasion or model inversion can be accelerated significantly.

연구 동기 및 목표

• 지적 재산권과 데이터 프라이버시를 위협하는 증가하는 DNN 모델 추출 공격에 대응하기 위해.
• GPU 실행 프로파일의 시스템 수준 사이드채널을 활용하여 저비용, 저오버헤드의 DNN 아키텍처 추출 방법을 개발하기 위해.
• 이전 방법들이 시간 시리즈 데이터, 큰 후보 집합, 또는 강력한 공격자 가정에 의존하는 한계를 극복하기 위해.
• 다양한 모델, 특히 잘라낸 모델과 크로스-GPU 배포 환경에서도 높은 정확도로 아키텍처 예측을 수행하기 위해.
• 악성 라이브러리에서 단 한 줄의 코드 변경만으로도 아키텍처 유출을 가능하게 하는 파이토치 파서를 통해 새로운 공격 표면을 드러내기 위해.

제안 방법

• EZClone은 파이토치 프로파일러 출력에서 집합적인 GPU 커널 특징 값들을 추출하며, 노이즈를 줄이기 위해 메모리 관련이 아닌 커널에 집중한다.
• 아키텍처 예측에 가장 유의미한 세 가지 GPU 커널 특징을 식별하기 위해 랜덤 포레스트 모델에 대해 순차적 특징 제거 기법을 적용한다.
• 이 특징들에 기반하여 베이지안 아키텍처 예측 모델을 훈련시켜 높은 정확도로 DNN 아키텍처를 분류한다.
• 고수준의 레이어 유형과 하이퍼파rameter를 GPU 커널 호출로 매핑할 수 있도록 맞춤형 파이토치 파서를 개발하여, 프로파일에서 직접 아키텍처 재구성을 가능하게 한다.
• 36개의 파이토치 비전 아키텍처(잘라낸 모델 및 다양한 GPU 플랫폼 포함)를 대상으로 평가하며, 각 아키텍처에 대해 훈련용으로 단 한 개의 프로파일만 사용한다.
• 공격은 확장 가능하도록 설계되었으며, 새로운 아키텍처를 추가하기 위해 최소한의 노력만 필요하며, 단 한 개의 프로파일과 1분 미만의 처리 시간으로 완료된다.

Figure 1: GPU kernel feature values for all 36 PyTorch vision architectures by architecture family. Values are averaged over 50 profiles and normalized. The features are ranked from the set of non-memory related GPU kernels using Recursive Feature Elimination on a Random Forest model, which achieves

실험 결과

연구 질문

• RQ1 시간 시리즈 데이터나 강력한 공격자 능력 없이도 집합적인 GPU 실행 프로파일만으로도 정확한 DNN 아키텍처 예측이 가능한가?
• RQ2 EZClone은 잘라낸 모델과 다양한 GPU 플랫폼을 포함한 다양한 DNN 아키텍처에서 어떻게 성능을 발휘하는가?
• RQ3 최소한의 GPU 커널 특징(최소 3개)으로도 100%의 아키텍처 예측 정확도를 달성할 수 있는가?
• RQ4 EZClone은 얼마나 쉽게 새로운 모델에 확장될 수 있으며, 재훈련 노력이 최소한인가?
• RQ5 악성 라이브러리에서 단 한 줄의 코드 변경만으로도 파이토치 파서를 통해 아키텍처 유출이 가능해지는가?

주요 결과

• EZClone은 파이토치 비전 아키텍처 36종 전부를 토치비전 v0.10.0에서 사용하여 단지 세 가지 GPU 커널 특징만으로도 100% 정확도로 예측한다.
• 잘라낸 모델에 적용했을 때도 100% 정확도를 유지하여 아키텍처 수정에 대한 강건성을 입증한다.
• EZClone은 크로스-GPU 정확도가 100%에 도달하여 다양한 GPU 플랫폼 간의 강력한 일반화 능력을 보여준다.
• 공격이 작은 후보 집합으로 약화되었을 때도 베이지안 아키텍처 예측 모델이 72% 이상의 크로스-GPU 정확도를 달성한다.
• 파이토치 파서는 프로파일러 출력에서 DNN 아키텍처를 성공적으로 재구성했으며, 악성 라이브러리에서 단 한 줄의 코드 변경만으로도 새로운 공격 표면을 드러냈다.
• 기존에 본 적 없는 DNN에 대해 새로운 아키텍처 예측 모델을 훈련시키는 데 단 한 개의 프로파일만 필요하며, 1분 미만의 시간이 소요된다.

Figure 2: EZClone attack framework.