[논문 리뷰] Membership Inference Attacks on Machine Learning: A Survey

Hongsheng Hu, Zoran Salčić외 4명|arXiv (Cornell University)|2021. 03. 14.

Adversarial Robustness in Machine Learning인용 수 31

한 줄 요약

이 논문은 ML 모델에 대한 멤버십 추론 공격(MIAs)과 방어에 대한 최초의 포괄적 조사로, 분류 체계, 데이터셋, 메트릭, 그리고 공개 리소스를 제시한다.

ABSTRACT

Machine learning (ML) models have been widely applied to various applications, including image classification, text generation, audio recognition, and graph data analysis. However, recent studies have shown that ML models are vulnerable to membership inference attacks (MIAs), which aim to infer whether a data record was used to train a target model or not. MIAs on ML models can directly lead to a privacy breach. For example, via identifying the fact that a clinical record that has been used to train a model associated with a certain disease, an attacker can infer that the owner of the clinical record has the disease with a high chance. In recent years, MIAs have been shown to be effective on various ML models, e.g., classification models and generative models. Meanwhile, many defense methods have been proposed to mitigate MIAs. Although MIAs on ML models form a newly emerging and rapidly growing research area, there has been no systematic survey on this topic yet. In this paper, we conduct the first comprehensive survey on membership inference attacks and defenses. We provide the taxonomies for both attacks and defenses, based on their characterizations, and discuss their pros and cons. Based on the limitations and gaps identified in this survey, we point out several promising future research directions to inspire the researchers who wish to follow this area. This survey not only serves as a reference for the research community but also provides a clear description for researchers outside this research domain. To further help the researchers, we have created an online resource repository, which we will keep updated with future relevant work. Interested readers can find the repository at https://github.com/HongshengHu/membership-inference-machine-learning-literature.

연구 동기 및 목표

• ML 모델에서의 멤버십 추론 공격과 방어에 대한 포괄적 검토를 제공한다.
• 공격자 지식, 대상 모델 및 방법론에 기반한 MIA 및 방어의 분류 체계를 개발한다.
• 실증 연구 및 벤치마킹을 지원하기 위해 데이터셋, 메트릭 및 오픈 소스 리소스를 요약한다.

제안 방법

• MIA를 이진 분류기 기반 접근과 메트릭 기반 접근으로 분류하고, 화이트박스 및 블랙박스 설정을 자세히 설명한다.
• 공격 모델의 학습 데이터를 구성하는 방법으로 그림자 학습(shadow training)을 설명한다.
• 입력 표현을 사용한 화이트박스 및 블랙박스 시나리오 모두에서 이진 분류기 공격 모델을 설명한다.
• 예측 정확도, 손실, 신뢰도 및 엔트로피 메트릭을 사용한 메트릭 기반 MIA를 개략적으로 설명한다.

실험 결과

연구 질문

• RQ1 ML 모델에서의 멤버십 추론 공격의 주요 범주와 메커니즘은 무엇인가?
• RQ2 공격자가 화이트박스 및 블랙박스 접근에서 효과적인 MIAs를 어떻게 구성할 수 있는가?
• RQ3 MIA를 연구하기 위한 방어 방법과 데이터셋/메트릭은 무엇이며, 향후 방향은 무엇인가?
• RQ4 MIA와 방어의 벤치마킹 및 재현을 촉진하는 공개 리소스는 무엇이 있는가?

주요 결과

• MIAs는 학습 구성원(training members)과 비구성원(non-members) 사이의 모델 동작 차이를 이용해 구성 여부를 추론한다.
• 그림자 학습은 그림자 모델을 만들고 구성원/비구성원 데이터에 레이블을 부여하여 이진 분류기 기반 MIA를 효과적으로 가능하게 한다.
• 화이트박스 MIA는 블랙박스 MIA보다 더 많은 정보를 제공하지만, 제한된 지식으로도 블랙박스 MIA는 매우 위험할 수 있다.
• 메트릭 기반 MIA는 예측 정확도, 손실, 신뢰도 또는 엔트로피를 사용하여 임계값 설정으로 구성 여부를 판단한다.