[논문 리뷰] Quantifying Membership Inference Vulnerability via Generalization Gap and Other Model Metrics

Jason Bentley, Daniel Gibney외 2명|arXiv (Cornell University)|2020. 09. 11.

Privacy-Preserving Technologies in Data참고 문헌 15인용 수 10

한 줄 요약

이 논문은 일반화 갭(학습 정확도와 테스트 정확도의 차이)과 레이블 예측 값만을 사용하여 이론적으로 최적의 파rameter-free 베이지안 멤버십 인식 공격(BTTA)을 제안한다. 이 공격은 섀도우 모델 공격 수준의 최신 기술 성능을 달성하며, 일반화 갭만으로도 멤버십 노출 위험을 강력하게 예측할 수 있음을 보여준다.

ABSTRACT

We demonstrate how a target model's generalization gap leads directly to an effective deterministic black box membership inference attack (MIA). This provides an upper bound on how secure a model can be to MIA based on a simple metric. Moreover, this attack is shown to be optimal in the expected sense given access to only certain likely obtainable metrics regarding the network's training and performance. Experimentally, this attack is shown to be comparable in accuracy to state-of-art MIAs in many cases.

연구 동기 및 목표

• 공개적으로 이용 가능한 모델 통계 자료만을 기반으로 하여 최소한의 가정 조건에서 작동하는 멤버십 인식 공격을 개발하는 것.
• 일반화 갭과 기타 기본 모델 지표를 바탕으로 멤버십 인식 공격의 효과성에 대한 이론적 상한선을 설정하는 것.
• 일반화 갭을 사용하는 단순하고 결정적인 공격이 복잡한 학습된 섀도우 모델 공격의 성능을 따라잡을 수 있음을 보여주는 것.
• 멤버십 인식에 가장 유용한 모델 특성은 무엇인지 밝혀내어 방어 전략 수립에 기여하는 것.
• 최신 기술 공격의 정보량을 이론적으로 최적의 기준과 비교하여, 공격 성능 향상에 기여할 수 있는 추가 정보가 무엇인지 규명하는 것.

제안 방법

• 일반화 갭과 예측 레이블 값만을 사용하는 결정적 블랙박스 멤버십 인식 방법인 베이지안 테이크-더-타이피컬 어택(BTTA)을 제안한다.
• 각 클래스의 학습 및 테스트 정확도와 레이블 비율이 알려져 있다고 가정할 때, 이론적으로 최적의 공격 전략을 유도한다.
• 데이터를 진짜 레이블 또는 예측 레이블에 따라 분할하여 정확도를 향상시키는 범주형 베이지안 공격(CBTTA)로 BTTA를 일반화한다.
• 베이지안 추론을 활용하여, 특정 데이터 포인트가 훈련 세트에 속할 가능성의 사후 확률을 계산한다. 이는 해당 데이터의 예측 레이블과 모델의 일반화 갭을 기반으로 한다.
• 실증적 비교를 위해 섀도우 모델을 활용하여, 최신 기술 공격의 성능이 주로 동일한 일반화 갭 정보에 의해 결정됨을 검증한다.
• 여러 데이터셋(CIFAR-10 등)에서 훈련 세트 크기가 변화하는 조건 하에 공격 정확도, 정밀도, 재현율을 평가하기 위해 아블레이션 및 비교 분석을 수행한다.

실험 결과

연구 질문

• RQ1 일반화 갭과 레이블 예측 값만을 사용하여 이론적으로 최적이고 실용적으로 효과적인 멤버십 인식 공격를 설계할 수 있는가?
• RQ2 동일한 핵심 정보를 기반으로 하는 경우, 단순한 베이지안 공격와 복잡한 섀도우 모델 기반 공격의 성능는 어떻게 비교되는가?
• RQ3 일반화 갭만으로도 모델의 멤버십 인식 공격에 대한 취약도가 결정되는 정도는 어느 정도인가?
• RQ4 최신 기술 멤버십 인식 공격는 실제로 어떤 정보를 활용하고 있으며, 제안된 방법의 최소한의 가정과 비교해보면 어떠한가?
• RQ5 예측 레이블 또는 진짜 레이블에 따라 데이터를 분할하는 것이 베이지안 멤버십 인식 공격의 정확도에 상당한 향상을 가져오는가?

주요 결과

• 제안된 베이지안 테이크-더-타이피컬 어택(BTTA)는 CIFAR-10에서 10,000개의 훈련 샘플을 사용할 때 정확도 0.746을 기록하며, 섀도우 모델 공격(SMA)의 0.793과 유사한 성능을 보였다.
• 예측 레이블 분할 공격(PPL)과 진짜 레이블 분할 공격(PTL)은 BTTA와 동일한 성능를 기록하여, 이 설정에서는 분할에 따른 유의미한 성능 향상이 없음을 시사한다.
• 섀도우 모델 공격의 성능가 BTTA와 유사하여, 이 공격가 주로 동일한 일반화 갭 정보를 학습하고 있음을 시사한다.
• 훈련 세트 크기가 증가함에 따라 베이지안 공격와 섀도우 모델 공격의 정확도가 모두 감소하며, 이는 과적합 감소(일반화 갭 감소)로 인해 멤버십 인식 공격 취약도가 감소함을 확인한다.
• 모든 데이터셋에서 공격의 재현율이 0.95 이상을 유지하여, 훈련 세트 소속을 탐지하는 데 매우 민감함을 보였다.
• 최소한의 가정(각 클래스의 학습/테스트 정확도, 레이블 비율, 모델 예측 값)만으로도 공격가 효과적으로 작동하며, 일반화 갭이 매우 강력한 예측 변수임을 입증한다.