[논문 리뷰] Practical Blind Membership Inference Attack via Differential Comparisons

Bo Hui, Yuchen Yang외 4명|arXiv (Cornell University)|2021. 01. 05.

Privacy-Preserving Technologies in Data참고 문헌 48인용 수 4

한 줄 요약

이 논문은 샌드위치 모델이 필요 없는 새로운 블랙박스 멤버십 인식 공격인 BlindMI를 제안한다. 이 공격은 특성 공간에서 반복적인 샘플 이동을 통한 차등 비교를 이용해 멤버십 상태를 추론한다. 이는 Purchase-50 및 Birds-200와 같은 데이터셋에서 기존 최고 성능(SOTA)보다 F1 점수를 약 20% 향상시키며, 고도의 방어 기법에도 효과를 유지한다.

ABSTRACT

Membership inference (MI) attacks affect user privacy by inferring whether given data samples have been used to train a target learning model, e.g., a deep neural network. There are two types of MI attacks in the literature, i.e., these with and without shadow models. The success of the former heavily depends on the quality of the shadow model, i.e., the transferability between the shadow and the target; the latter, given only blackbox probing access to the target model, cannot make an effective inference of unknowns, compared with MI attacks using shadow models, due to the insufficient number of qualified samples labeled with ground truth membership information. In this paper, we propose an MI attack, called BlindMI, which probes the target model and extracts membership semantics via a novel approach, called differential comparison. The high-level idea is that BlindMI first generates a dataset with nonmembers via transforming existing samples into new samples, and then differentially moves samples from a target dataset to the generated, non-member set in an iterative manner. If the differential move of a sample increases the set distance, BlindMI considers the sample as non-member and vice versa. BlindMI was evaluated by comparing it with state-of-the-art MI attack algorithms. Our evaluation shows that BlindMI improves F1-score by nearly 20% when compared to state-of-the-art on some datasets, such as Purchase-50 and Birds-200, in the blind setting where the adversary does not know the target model's architecture and the target dataset's ground truth labels. We also show that BlindMI can defeat state-of-the-art defenses.

연구 동기 및 목표

• 기존 멤버십 인식 공격가 샌드위치 모델에 의존하며, 이는 목표 모델로의 전이 성능이 떨어지는 한계를 해결하기 위해.
• 공격자가 목표 모델의 아키텍처나 지표 레이블에 접근할 수 없는 블랙박스 환경에서 효과적인 멤버십 인식을 가능하게 하기 위해.
• 레이블이 부여된 멤버/비멤버 데이터가 필요 없이, 프로빙 결과에서만 복잡한 멤버십 의미를 추출하는 방법을 개발하기 위해.
• 멤버십 인식 공격에 대한 최신 방어 기법들에 대한 BlindMI의 강건성 평가하기 위해.
• 지능적인 프로빙 및 비교 전략을 통해 블랙박스 공격이 화이트박스 공격과 비교해도 성능을 유사하게 달성할 수 있음을 보여주기 위해.

제안 방법

• BlindMI는 기존 샘플을 변형하여 의미적으로 타당한 새로운 샘플로 만들고, 이들을 비멤버 데이터셋으로 생성한다. 이는 높은 신뢰도로 비멤버로 간주된다.
• 차등 비교 메커니즘을 사용한다: 목표 데이터셋의 샘플을 비멤버 집합으로 반복적으로 이동시키며, 특성 공간에서 두 집합 간의 거리 변화를 측정한다.
• 이동 시 두 집합 간의 거리가 감소하면 샘플은 멤버로 분류되고, 거리가 증가하면 비멤버로 분류된다.
• 이 방법은 기하학적 직관을 활용한다. 멤버 샘플을 비멤버 집합 쪽으로 이동시키면 전체 거리가 줄어들고, 반대로 비멤버를 이동시키면 거리가 증가한다.
• 세 가지 변형을 구현한다: BlindMI-1class(비멤버 탐지에 일종의 서포트 벡터 머신 사용), BlindMI-diff-w/(생성된 비멤버 사용), BlindMI-diff-w/o(거친 멤버/비멤버 분리 사용).
• 사전 정의된 임계값이나 지표 레이블에 의존하지 않고, 동적 집합 비교를 통해 결정 경계를 암묵적으로 학습한다.

실험 결과

연구 질문

• RQ1 지표 레이블이나 샌드위치 모델에 접근할 수 없는 블랙박스 환경에서도 멤버십 인식이 효과적으로 수행될 수 있는가?
• RQ2 특성 공간에서 데이터셋 간의 차등 비교가 명시적인 모델 지식 없이도 의미 있는 멤버십 의미를 드러낼 수 있는가?
• RQ3 F1 점수와 강건성 측면에서 BlindMI는 최신 멤버십 인식 공격 기법과 비교해 어떤 성능을 보이는가?
• RQ4 정규화, 적대적 훈련, 차등 프라이버시와 같은 기존 방어 기법을 BlindMI가 얼마나 효과적으로 우회하거나 무력화할 수 있는가?
• RQ5 고차원 공간에서 복잡한 결정 경계를 포착하는 데 있어, 임계값 기반 또는 일종의 학습 방법보다 제안된 방법이 더 우수한가?

주요 결과

• BlindMI는 블랙박스 환경에서 Purchase-50 및 Birds-200와 같은 데이터셋에서 최신 기법 대비 F1 점수를 약 20% 향상시켰다.
• 이 방법은 목표 모델의 아키텍처나 훈련 데이터의 지표 레이블을 알 필요 없이도 뛰어난 성능을 달성한다.
• BlindMI-diff-w/ 및 BlindMI-diff-w/o 변형은 임계값 기반 및 일종의 서포트 벡터 머신 기반 베이스라인보다 우수한 성능을 보이며, 차등 비교의 효과성을 입증한다.
• BlindMI는 정규화, 적대적 훈련, 차등 프라이버시와 같은 최신 방어 기법에도 효과를 유지하며, 많은 경우 F1 점수 60% 이상을 달성한다.
• 이 공격은 다양한 DNN 아키텍처와 데이터셋에 걸쳐 강건하며, 실제 블랙박스 환경에서의 일반화 및 실용성을 확인한다.
• 결과적으로, 프로빙 전략이 특성 공간에서 복잡한 기하학적 관계를 포착할 경우, 블랙박스 멤버십 인식 공격도 화이트박스 공격과 비슷한 성능을 낼 수 있음을 검증한다.