[논문 리뷰] Towards Demystifying Membership Inference Attacks

Stacey Truex, Ling Liu외 3명|arXiv (Cornell University)|2018. 06. 28.

Adversarial Robustness in Machine Learning참고 문헌 35인용 수 86

한 줄 요약

본 연구는 블랙박스 멤버십 추론 공격을 정형화하고, 섀도우 데이터셋과 섀도우 모델을 활용한 일반적 공격 프레임워크를 구축하며, 데이터 주도적이고 전이가능한 취약성이 모델과 데이터셋 전반에 걸쳐 있음을 경험적으로 보여주고, 연합학습에서의 내부자 위험까지 다룬다.

ABSTRACT

Membership inference attacks seek to infer membership of individual training instances of a model to which an adversary has black-box access through a machine learning-as-a-service API. In providing an in-depth characterization of membership privacy risks against machine learning models, this paper presents a comprehensive study towards demystifying membership inference attacks from two complimentary perspectives. First, we provide a generalized formulation of the development of a black-box membership inference attack model. Second, we characterize the importance of model choice on model vulnerability through a systematic evaluation of a variety of machine learning models and model combinations using multiple datasets. Through formal analysis and empirical evidence from extensive experimentation, we characterize under what conditions a model may be vulnerable to such black-box membership inference attacks. We show that membership inference vulnerability is data-driven and corresponding attack models are largely transferable. Though different model types display different vulnerabilities to membership inference, so do different datasets. Our empirical results additionally show that (1) using the type of target model under attack within the attack model may not increase attack effectiveness and (2) collaborative learning exposes vulnerabilities to membership inference risks when the adversary is a participant. We also discuss countermeasure and mitigation strategies.

연구 동기 및 목표

• 블랙박스 접근 하에서 머신러닝 서비스의 멤버십 프라이버시 위험을 특징화한다.
• 섀도우 데이터셋과 섀도우 모델을 활용한 일반화된 공격 모델 프레임워크를 개발한다.
• 타깃 모델 유형과 학습 데이터가 멤버십 추론 공격에 대한 취약성에 미치는 영향을 평가한다.
• 연합 학습 시나리오에서 내부자 멤버십 추론 위험을 탐구한다.
• 대책 및 완화 전략을 논의한다.

제안 방법

• 블랙박스 멤버십 추론에 대한 일반적 공격 모델을 이진 분류기 작업으로 형식화한다.
• API 프로빙을 사용하여 타깃 학습 데이터 구조를 모방하는 섀도우 데이터셋 생성을 도입한다.
• 섀도우 모델로부터 공격 모델 학습 데이터를 생성하여 이진 멤버십 분류기를 학습한다.
• 공격의 일반화성과 강건성을 높이기 위해 섀도우 모델 생성을 위한 앙상블 접근법을 탐구한다.
• 타깃 모델 및 데이터셋 간의 데이터 주도적 취약성과 전이성을 입증한다.
• 연합 학습에서의 내부자 위협을 멤버십 추론 위험으로 검토한다.

실험 결과

연구 질문

• RQ1 모델이 블랙박스 멤버십 추론 공격에 취약한 조건은 무엇인가?
• RQ2 타깃 모델 유형, 학습 데이터, 공격 데이터 생성이 공격의 효과성과 전이성에 어떤 영향을 미치는가?
• RQ3 섀도우 데이터셋과 섀도우 모델이 타깃 모델의 동작을 효과적으로 반영하여 공격에 유효한가?
• RQ4 연합(연합 학습) 설정에서의 멤버십 추론 위험, 내부자 위협을 포함한 위험은 무엇인가?

주요 결과

• 멤버십 추론 취약성은 데이터 주도적이며 공격 모델은 설정 간에 상당히 전이 가능하다.
• 다른 데이터셋과 서로 다른 타깃 모델은 취약성을 다르게 만들어 단일 약점 패턴이 모든 경우에 해당하지 않음을 시사한다.
• 타깃 모델의 유형을 공격 모델 내에 포함시키는 것이 반드시 공격 효과를 증가시키지 않는다.
• 협업 또는 연합 학습 환경에서 내부자가 참여할 때 멤버십 추론에 대한 취약성이 노출된다.
• 섀도우 데이터셋과 섀도우 모델을 통한 공격 구성은 블랙박스 접근에서도 효과적일 수 있다.
• 이 프라이버시 위험에 대응하기 위한 대책 및 완화 전략이 논의된다.