[논문 리뷰] Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning

Yang Zou, Zhikun Zhang외 2명|arXiv (Cornell University)|2020. 09. 10.

Privacy-Preserving Technologies in Data참고 문헌 34인용 수 16

한 줄 요약

이 논문은 전이 학습 모델에 대한 멤버십 추론 공격의 첫 번째 체계적 분석을 제시하며, 타겟 모델의 아키텍처가 알려져 있지 않은 경우에도 이러한 공격이 여전히 매우 효과적임을 입증한다. 샤펠 모델 훈련을 통해 저자들은 미세조정된 ResNet20 모델에서 멤버십 추론 공격의 AUC를 최대 95%까지 도달시켰으며, 실세계 기계 학습 배포에서의 심각한 프라이버시 위험을 드러냈다.

ABSTRACT

While being deployed in many critical applications as core components, machine learning (ML) models are vulnerable to various security and privacy attacks. One major privacy attack in this domain is membership inference, where an adversary aims to determine whether a target data sample is part of the training set of a target ML model. So far, most of the current membership inference attacks are evaluated against ML models trained from scratch. However, real-world ML models are typically trained following the transfer learning paradigm, where a model owner takes a pretrained model learned from a different dataset, namely teacher model, and trains her own student model by fine-tuning the teacher model with her own data. In this paper, we perform the first systematic evaluation of membership inference attacks against transfer learning models. We adopt the strategy of shadow model training to derive the data for training our membership inference classifier. Extensive experiments on four real-world image datasets show that membership inference can achieve effective performance. For instance, on the CIFAR100 classifier transferred from ResNet20 (pretrained with Caltech101), our membership inference achieves $95\%$ attack AUC. Moreover, we show that membership inference is still effective when the architecture of target model is unknown. Our results shed light on the severity of membership risks stemming from machine learning models in practice.

연구 동기 및 목표

• 전이 학습 환경에서, 사전 학습된 티처 모델에서 미세조정된 모델을 사용하는 경우 멤버십 추론 공격의 효과성을 조사하기 위해.
• 블랙박스 접근 조건에서 티처 및 스타디언트 데이터셋의 멤버십 정보가 노출되는지 평가하기 위해.
• 스터디 모델에서 동결된 레이어의 영향을 분석하기 위해.
• 공격자가 타겟 모델의 아키텍처를 모를 경우 멤버십 추론이 여전히 효과적인지 평가하기 위해.

제안 방법

• 타겟 모델의 동작을 모방하기 위해 샤펠 모델 훈련을 사용하여 멤버십 추론 분류기 훈련에 사용할 데이터를 생성하였다.
• 세 가지 다른 공격 시나리오를 수행하였다: 티처 모델 공격, 스타디언트 모델 공격, 그리고 서로 다른 아키텍처 간에 공격 지식을 이전하는 공격.
• 전이 학습을 위해 미세조정을 사용하였으며, ResNet20를 스타디언트 모델로, VGG16를 티처 모델로 사용하였다. 이는 Caltech101에서 사전 학습된 후, CIFAR100, Flowers102, PubFig83에서 미세조정되었다.
• 멤버십 추론 분류기의 성능을 평가하기 위해 AUC(ROC 곡선 아래 면적)를 사용하였으며, 이는 훈련 샘플과 비훈련 샘플을 구분하는 능력을 측정하였다.
• 스터디 모델의 동결 레이어 수를 체계적으로 변화시켜 그 영향을 멤버십 추론 성공률에 분석하였다.
• 타겟 모델과 다른 아키텍처(예: ResNet20)를 가진 샤펠 모델(예: VGG16)을 사용하여 공격의 이식 가능성(transferability)을 탐색하였다.

실험 결과

연구 질문

• RQ1 타겟 모델이 사전 학습된 티처 모델에서 미세조정된 스타디언트 모델인 전이 학습 환경에서 멤버십 추론 공격이 여전히 효과적인가?
• RQ2 스터디 모델의 동결 레이어 수가 멤버십 추론 공격 성능에 어떤 영향을 미치는가?
• RQ3 공격자가 타겟 모델의 아키텍처를 모를 경우 멤버십 추론 공격이 여전히 효과적인가?
• RQ4 전이 학습 과정에서 티처 모델의 멤버십 정보가 스타디언트 모델을 통해 泄露(누출)되는가?

주요 결과

• ResNet20 티처 모델에서 사전 학습된 후, CIFAR100에서 미세조정된 스타디언트 모델을 공격할 경우 멤버십 추론 공격의 AUC가 0.95에 도달하였다.
• 스터디 모델의 동결 레이어 수가 증가할수록 공격 성능이 뚜렷이 감소하였으며, 특히 다섯 개의 블록을 모두 동결했을 때 가장 급격한 감소가 관찰되었다.
• 샤펠 모델과 타겟 모델의 아키텍처가 다를 경우(예: VGG16 샤펠 모델이 ResNet20 타겟 모델을 공격), AUC가 여전히 0.94 이상 유지되어 강력한 이식 가능성(transferability)을 보였다.
• 스터디 모델의 파라미터가 자신의 데이터를 사용해 업데이트되었기 때문에, 티처 모델의 멤버십 정보는 스타디언트 모델을 통해 누출되지 않았다.
• 스터디 모델은 고동결 레이어 설정 조건에서도 자신의 훈련 데이터에 대한 멤버십 정보를 불가피하게 누출하였다.
• 공격자가 타겟 모델의 아키텍처를 전혀 모를 경우에도 공격이 효과적이었으며(AUC > 0.9), 이는 아키텍처 경계를 초월한 강건성을 보여주었다.