[논문 리뷰] Understanding Membership Inferences on Well-Generalized Learning Models

Yunhui Long, Vincent Bindschaedler외 6명|arXiv (Cornell University)|2018. 02. 13.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 164

한 줄 요약

이 논문은 일반화된 MIA(GMIA)를 사용해 잘 일반화된 모델에서도 멤버십 추론 공격이 성공할 수 있음을 보여주며, 취약한 레코드를 식별하고 참조 모델을 사용하며 실제 데이터 평가에서 직접 및 간접 추론을 모두 시연한다.

ABSTRACT

Membership Inference Attack (MIA) determines the presence of a record in a machine learning model's training data by querying the model. Prior work has shown that the attack is feasible when the model is overfitted to its training data or when the adversary controls the training algorithm. However, when the model is not overfitted and the adversary does not control the training algorithm, the threat is not well understood. In this paper, we report a study that discovers overfitting to be a sufficient but not a necessary condition for an MIA to succeed. More specifically, we demonstrate that even a well-generalized model contains vulnerable instances subject to a new generalized MIA (GMIA). In GMIA, we use novel techniques for selecting vulnerable instances and detecting their subtle influences ignored by overfitting metrics. Specifically, we successfully identify individual records with high precision in real-world datasets by querying black-box machine learning models. Further we show that a vulnerable record can even be indirectly attacked by querying other related records and existing generalization techniques are found to be less effective in protecting the vulnerable instances. Our findings sharpen the understanding of the fundamental cause of the problem: the unique influences the training instance may have on the model.

연구 동기 및 목표

• ML 모델에서 과적합이 멤버십 공개의 유일한 원인인지 재평가한다.
• 잘 일반화된 모델에 대해 공격할 수 있는 일반화된 멤버십 추론 공격(GMIA)을 개발한다.
• 블랙박스 쿼리를 통해 멤버십을 드러내는 작은 영향력을 식별하고 취약한 학습 데이터 포인트를 파악한다.
• 실제 데이터셋에서 공격 효과를 평가하고 정규화 방어와 대조한다.

제안 방법

• 그림자 모델에 의존하지 않는 잘 일반화된 대상에 대한 GMIA를 도입한다.
• 대상 모델의 동작을 모방하기 위해 접근 가능한 데이터에서 부트스트랩 샘플링으로 참조 모델을 구축한다.
• 참조 모델의 고수준 특징을 이용해 고유한 영향력을 측정하여 취약한 Target 레코드를 선택한다.
• 로깅 손실(log-loss) 기반 가설 검정을 사용하여 대상 모델의 출력과 참조 모델 분포를 비교해 직접 추론을 수행한다.
• 향상시키는 기록을 식별하고 비대상 레코드에 대해 쿼리를 수행하여 간접 추론을 가능하게 한다; 결과를 Kost의 방법과 결합한다.

실험 결과

연구 질문

• RQ1 ML 모델에서 과적합이 멤버십 공개의 필수 조건인가?
• RQ2 훈련 알고리즘에 대한 접근 없이도 잘 일반화된 모델에서 멤버십 추론이 성공할 수 있는가?
• RQ3 과적합을 넘어선 멤십 누출의 원인은 무엇이며 취약한 학습 데이터 포인트를 식별할 수 있는가?
• RQ4 GMIA가 직접 추론과 간접 추론 시나리오에서 얼마나 효과적인가?
• RQ5 실제 데이터셋에서의 GMIA 성공에 대해 정규화 기법이 어떤 영향을 미치는가?

주요 결과

• MIA는 잘 일반화된 모델에서도 성공할 수 있으며 선택된 취약한 레코드에 대해 높은 정밀도 공격이 가능하다.
• MNIST에서 모델의 73.88%가 취약 객체에 대해 공격 정밀도 93.36%를 보였다.
• Cancer에서 모델의 3.2%가 대상 환자에 대해 공격 정밀도 88.89%를 보였다.
• Adult에서 모델의 5.23%가 대상 개인에게 대해 공격 정밀도 73.91%를 보였다.
• 정규화(예: L2)가 위협을 신뢰성 있게 제거하지 못하며, 예를 들어 특정 설정에서 MNIST 추론은 100% 정밀도와 함께 34%의 모델에서 여전히 가능하다.
• 간접 추론은 경우에 따라 직접 추론보다 더 높은 성능을 보일 수 있으며, Adult 데이터셋의 16% 모델에서 100% 정밀도로 나타났다.