[논문 리뷰] Membership Inference Attacks against Machine Learning Models

Reza Shokri, Marco Stronati외 2명|arXiv (Cornell University)|2016. 10. 18.

Adversarial Robustness in Machine Learning인용 수 12

한 줄 요약

이 논문은 기계 학습 모델의 훈련 데이터 세트에 특정 데이터 레코드가 포함되어 있었는지 여부를 모델에 대한 블랙박스 액세스만으로 판단하는 멤버십 추론 공격을 제안한다. 타겟 모델의 행동을 모방하기 위해 실시간으로 신뢰할 수 있는 샤로우 모델을 훈련하고, 이를 통해 공격 모델이 훈련 데이터와 비훈련 데이터를 구분하도록 훈련시킴으로써, 저자들은 Google 서비스에서 94%의 중앙값 정확도와 Amazon에서 74%의 정확도를 달성하였다. 이는 데이터 분포에 대한 사전 지식이 전혀 없더라도 가능하다.

ABSTRACT

We quantitatively investigate how machine learning models leak information about the individual data records on which they were trained. We focus on the basic membership inference attack: given a data record and black-box access to a model, determine if the record was in the model's training dataset. To perform membership inference against a target model, we make adversarial use of machine learning and train our own inference model to recognize differences in the target model's predictions on the inputs that it trained on versus the inputs that it did not train on. We empirically evaluate our inference techniques on classification models trained by commercial "machine learning as a service" providers such as Google and Amazon. Using realistic datasets and classification tasks, including a hospital discharge dataset whose membership is sensitive from the privacy perspective, we show that these models can be vulnerable to membership inference attacks. We then investigate the factors that influence this leakage and evaluate mitigation strategies.

연구 동기 및 목표

• 기계 학습 모델이 훈련 데이터에 대해 유출하는 정보, 특히 예측 출력을 통한 정보를 조사한다.
• 멤버십 추론의 근본적 문제를 해결한다: 특정 데이터 레코드가 모델의 훈련 데이터 세트에 포함되었는지 여부를 판단하는 것.
• 모델 파rameter나 아키텍처에 대한 액세스 없이, 오직 API 수준의 쿼리만을 사용하는 실용적인 블랙박스 공격을 개발한다.
• 다양한 모델과 데이터셋(감정적 건강 데이터 포함)에서 멤버십 정보 유출의 정도를 정량화한다.
• 완화 전략을 평가하고, 과적합 또는 데이터셋 특성과 같은 요소들이 유출에 미치는 영향을 규명한다.

제안 방법

• 공격 모델 훈련을 위해 각 데이터 포인트의 멤버십 상태가 알려진 합성 훈련 데이터를 생성하기 위한 샤로우 훈련 기법을 개발한다.
• 타겟 모델의 행동을 모방하기 위해 다수의 샤로우 모델을 훈련시키며, 이는 타겟 모델의 블랙박스 쿼리로부터 생성된 합성 데이터, 통계적 인구 데이터, 또는 타겟 훈련 데이터의 노이즈 버전을 사용한다.
• 예측 신뢰도의 차이를 분석하여 주어진 입력이 타겟 모델의 훈련 세트에 속해 있는지 여부를 분류하는 추론 모델을 훈련시킨다.
• 타겟 모델의 예측 신뢰도(예: 소프트맥스 확률)를 공격 모델의 입력 특징으로 사용하며, 모델이 훈련 예제에서는 더 높은 신뢰도를 보이기 때문에 이를 활용한다.
• 훈련된 공격 모델을 Google Prediction API와 Amazon ML의 실제 웹 서비스 모델에 적용하며, 기반 학습 알고리즘이나 모델 아키텍처에 대한 지식 없이도 작동한다.
• 다양한 가정 조건 하에서 공격를 평가한다: 데이터 분포에 대한 완전한 사전 지식, 노이즈 데이터를 통한 부분적 지식, 완전히 합성 데이터를 사용한 사전 지식 없음.

실험 결과

연구 질문

• RQ1 블랙박스 기계 학습 모델이 예측 출력을 통해 훈련 데이터에 대한 멤버십 정보를 어느 정도 유출할 수 있는가?
• RQ2 타겟 모델의 훈련에 사용된 데이터 분포에 대한 사전 지식이 전혀 없을 경우, 멤버십 추론 공격의 효과는 어떠한가?
• RQ3 모델 과적합, 데이터셋 크기, 분류 작업 등 어떤 요소들이 멤버십 추론 공격의 성공률에 가장 강하게 영향을 미치는가?
• RQ4 Google나 Amazon과 같은 상용 기계 학습 as a service 플랫폼에 대해, 모델 파rameter에 접근할 수 없더라도 멤버십 추론 공격를 효과적으로 수행할 수 있는가?
• RQ5 샤로우 모델의 데이터 생성 전략(예: 합성, 노이즈, 실제 데이터)이 최종 멤버십 추론 공격의 성능에 어떤 영향을 미치는가?

주요 결과

• Google의 Prediction API를 사용해 훈련된 모델에서 실용적인 데이터셋을 사용할 경우 멤버십 추론 공격의 중앙값 정확도가 94%에 도달하고, Amazon의 ML 서비스에서는 74%에 이른다.
• 데이터 분포에 대한 사전 지식이 전혀 없더라도, 샤로우 모델에만 완전히 합성 데이터를 사용할 경우 Google에서 훈련된 모델에 대해 90%의 정확도를 달성한다.
• 병원 입원 기록과 같은 민감한 데이터셋에서도 공격가 효과적이며, 이는 멤버십 정보가 매우 민감한 개인정보를 포함하고 있음을 시사한다. 이는 실제 세계의 개인정보 위험을 보여준다.
• 상용 플랫폼에서 기본 설정으로 훈련된 모델들도 상당한 수준의 멤버십 정보를 유출함을 확인하였으며, 이는 표준 기계 학습 배포 관행이 이러한 공격에 취약하다는 것을 시사한다.
• 공격 성공률가 과적합의 전형적 지표(예: 훈련 정확도, 일반화 갭)와 강하게 상관관계가 있음을 확인하였으며, 이는 과적합이 멤버십 정보 유출의 핵심 원인임을 시사한다.
• 모델 역공학 공격는 실제 훈련 샘플을 생성하거나 멤버십 상태를 판단하지 못하지만, 제안된 멤버십 추론 방법은 높은 정확도로 멤버십 질문에 직접적인 답을 제공한다.