[논문 리뷰] Stolen Memories: Leveraging Model Memorization for Calibrated White-Box Membership Inference

K. Rustan M. Leino, Matt Fredrikson|arXiv (Cornell University)|2019. 06. 27.

Adversarial Robustness in Machine Learning인용 수 68

한 줄 요약

이 논문은 모델의 특이적 특징에 의한 기억화를 이용한 화이트박스 멤버십 추론 공격을 제시하여 보정된 고정밀 추론을 달성하고, 차등 프라이버시와 같은 방어책을 평가한다.

ABSTRACT

Membership inference (MI) attacks exploit the fact that machine learning algorithms sometimes leak information about their training data through the learned model. In this work, we study membership inference in the white-box setting in order to exploit the internals of a model, which have not been effectively utilized by previous work. Leveraging new insights about how overfitting occurs in deep neural networks, we show how a model's idiosyncratic use of features can provide evidence for membership to white-box attackers---even when the model's black-box behavior appears to generalize well---and demonstrate that this attack outperforms prior black-box methods. Taking the position that an effective attack should have the ability to provide confident positive inferences, we find that previous attacks do not often provide a meaningful basis for confidently inferring membership, whereas our attack can be effectively calibrated for high precision. Finally, we examine popular defenses against MI attacks, finding that (1) smaller generalization error is not sufficient to prevent attacks on real models, and (2) while small-$ε$-differential privacy reduces the attack's effectiveness, this often comes at a significant cost to the model's accuracy; and for larger $ε$ that are sometimes used in practice (e.g., $ε=16$), the attack can achieve nearly the same accuracy as on the unprotected model.

연구 동기 및 목표

• 딥 네트워크에서 과적합과 기억화가 내부 특징 사용을 통해 멤버십 정보를 누출하는지 조사한다.
• 대상 학습 데이터에 접근할 필요 없이 보정된 고정밀 추론을 제공하는 화이트박스 MI 공격을 개발한다.
• 이전의 블랙박스 및 화이트박스 MI 공격의 한계를 명시적으로 분석하고 멤버십 예측의 신뢰도를 높이는 방법을 제안한다.
• 제안된 공격을 실제 데이터셋과 합성 데이터셋에서 평가하고 차등 프라이버시 등 방어책을 연구한다.

제안 방법

• 특이적 특징 사용을 활용하는 근거 기반의 베이즈 최적 화이트박스 MI 공격을 도입한다.
• 가우시안 나이브 베이즈 가정하에 간단한 선형 소프트맥스 타깃에 대한 선형 베이즈 최적 공격 모델을 도출한다 (정리 1).
• 정확한 D*와 ˆD가 알려지지 않은 경우 프록시 모델로부터 MI 매개변수를 얻는 방법을 보인다 (bayes-wb 공격, 관측 1).
• 배운 변위 함수 D를 사용하여 임의 분포에 일반화하여 general-wb 공격을 만든다.
• 각 계층의 국소 선형 근사를 사용하여 딥 네트워크에 공격을 확장한다 (섹션 4).
• 고정밀 추론을 달성하기 위한 보정 기법을 도입한다 (알고리즘 3).

실험 결과

연구 질문

• RQ1 화이트박스 접근 권한이 있는 상태에서 모델의 내부 특징 사용을 통해 출력 행동이 일반화되더라도 멤버십 정보를 밝힐 수 있는가?
• RQ2 대상 학습 데이터에 접근하지 못한 채로도 높은 정밀도(확신 있는) 멤버십 추론을 제공하는 보정된 공격 모델을 만들 수 있는가?
• RQ3 프록시 모델과 분포 가정은 화이트박스 MI에서 베이즈 최적 멤버십 예측에 어떻게 근사화를 제공하는가?
• RQ4 차등 프라이버시와 같은 실용적 방어책은 이러한 화이트박스 MI 공격을 실질적으로 완화하는가, 아니면 모델 정확도에 큰 손실은 피할 수 없는가?
• RQ5 해석 가능성과 보정을 유지하면서 딥 뉴럴 네트워크로 공격을 확장하려면 어떻게 해야 하는가?

주요 결과

• 제안된 화이트박스 공격은 특징 사용의 기억화를 활용하여 기존의 블랙박스 MI 방법보다 우수한 성능을 보인다.
• 베이즈 최적 선형 공격(정리 1)은 가우시안 나이브 베이즈 가정 하에서 정확한 멤버십 예측을 보여주며 보정된 신뢰도를 가능하게 한다.
• 정확한 분포 매개변수가 이용 가능하지 않을 때 프록시 모델과 가중치 변위(bayes-wb, general-wb)가 최적 공격을 근사한다.
• 보정 기법은 멤버십 추론에서 더 높은 정밀도를 달성하기 위해 의사결정 임계치를 조정하게 한다.
• 공격은 실제 데이터셋에서도 효과적이며 작은 ε의 DP로만 부분적으로 완화되며, 더 큰 ε는 종종 추가 보호를 거의 제공하지 않는다.
• 공격은 개인 학습 매개변수 선택을 평가하고 방어를 스트레스 테스트하는 실용적 휴리스틱을 제공한다.