[논문 리뷰] Semi-Leak: Membership Inference Attacks Against Semi-supervised Learning

Xinlei He, Hongbin Liu외 2명|arXiv (Cornell University)|2022. 07. 25.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 반감독 학습(SSL) 모델을 대상으로 하는 첫 번째 데이터 증강 기반의 소유자 식별 공격인 Semi-Leak을 제안한다. 동일한 샘플의 약한 증강과 강한 증강 간의 모델 예측 유사성을 활용하여, 이 공격는 기존 방법보다 높은 AUC(500개의 레이블된 샘플을 가진 CIFAR10에서 최대 0.780)를 달성하며, SSL 모델이 과적합을 통해가 아니라 훈련 샘플에 대한 예측에서 과신함으로써 소유자 정보를 泄露한다는 것을 드러낸다.

ABSTRACT

Semi-supervised learning (SSL) leverages both labeled and unlabeled data to train machine learning (ML) models. State-of-the-art SSL methods can achieve comparable performance to supervised learning by leveraging much fewer labeled data. However, most existing works focus on improving the performance of SSL. In this work, we take a different angle by studying the training data privacy of SSL. Specifically, we propose the first data augmentation-based membership inference attacks against ML models trained by SSL. Given a data sample and the black-box access to a model, the goal of membership inference attack is to determine whether the data sample belongs to the training dataset of the model. Our evaluation shows that the proposed attack can consistently outperform existing membership inference attacks and achieves the best performance against the model trained by SSL. Moreover, we uncover that the reason for membership leakage in SSL is different from the commonly believed one in supervised learning, i.e., overfitting (the gap between training and testing accuracy). We observe that the SSL model is well generalized to the testing data (with almost 0 overfitting) but ''memorizes'' the training data by giving a more confident prediction regardless of its correctness. We also explore early stopping as a countermeasure to prevent membership inference attacks against SSL. The results show that early stopping can mitigate the membership inference attack, but with the cost of model's utility degradation.

연구 동기 및 목표

• 반감독 학습(SSL) 모델이 낮은 과적합에도 불구하고 소유자 정보를 泄露하는지 조사하기 위해.
• SSL의 고유한 훈련 동역학에 맞춰진 새로운 데이터 증강 기반의 소유자 식별 공격을 개발하기 위해.
• 반감독 학습에서 소유자 정보 유출의 근본 원인을 과적합과 대비하여 분석하기 위해.
• 초기 정지 및 기타 방어 전략의 성능 평가 및 모델 유틸리티와 개인정보 보호 간의 트레이드오프를 분석하기 위해.

제안 방법

• 공격은 후보 데이터 샘플의 약한 증강 및 강한 증강 버전에 대한 예측을 쿼리하기 위해 블랙박스 모델을 사용한다.
• 약한 증강과 강한 증강 간의 예측 유사도(예: 코사인 유사도 또는 KL 발산)를 소유자 신호로 계산한다.
• 증강 간의 예측 유사도가 높을수록 해당 샘플이 훈련 세트에 속할 가능성이 높아진다.
• 공격는 FixMatch, FlexMatch, UDA 등의 여러 SSL 방법과 SVHN, CIFAR10, CIFAR100 등의 데이터셋에서 평가된다.
• 정확도가 훈련 샘플에서 더 높지 않더라도, 모델 신뢰도(예측 엔트로피)를 기억의 지표로 활용한다.
• 초기 정지, 상위-k 사후 확률, 모델 스태킹, DP-SGD 등의 방어 조치를 평가하여 공격를 완화한다.

실험 결과

연구 질문

• RQ1 반감독 학습은 감독 학습에서 볼 수 없는 고유한 개인정보 위험을 초래하는가?
• RQ2 반감독 학습에서 데이터 증강 패턴을 활용하면 소유자 식별 공격의 효과가 더 높아질 수 있는가?
• RQ3 과적합이 반감독 학습 모델에서 소유자 정보 유출의 주요 원인인가?
• RQ4 모델 용량과 비레이블 데이터 비율이 반감독 학습에서 소유자 식별 위험에 어떤 영향을 미치는가?
• RQ5 초기 정지는 모델 유틸리티를 크게 훼손시키지 않고도 소유자 식별 위험을 효과적으로 줄일 수 있는가?

주요 결과

• 제안된 Semi-Leak 공격는 CIFAR10에서 500개의 레이블된 샘플로 훈련된 FixMatch에서 AUC 0.780을 달성하며, 최고의 베이스라인(0.722 AUC)을 초월한다.
• SSL 모델은 거의 과적합이 없으며(훈련 및 테스트 정확도 간 격차가 미미함), 일반적으로 과적합이 소유자 정보 유출 원인이라고 여겨지는 것과 모순된다.
• 낮은 과적합에도 불구하고, SSL 모델은 레이블 정확성과 관계없이 훈련 샘플에 대해 더 높은 예측 신뢰도를 부여함으로써 여전히 소유자 정보를 泄露한다.
• 모델 용량 증가(예: WRN28-1에서 WRN28-8로)는 모델 정확도와 소유자 식별 위험을 모두 증가시키며, AUC는 0.726에서 0.927로 상승한다.
• 훈련 중 비레이블 비율 증가로 인해 소유자 식별 위험이 증가하며, 특히 비레이블 샘플에서 두드러진다. AUC는 비율 1일 때 0.578에서 비율 16일 때 0.909로 상승한다.
• 초기 정지는 모델 유틸리티와 개인정보 보호 간의 최적의 트레이드오프를 제공하며, 정확도 저하를 약간 감수하면서도 공격 성능을 감소시킨다.