[논문 리뷰] Bounding Membership Inference

Anvith Thudi, Ilia Shumailov외 2명|arXiv (Cornell University)|2022. 02. 24.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 $(\varepsilon,\delta)$-미분적 보호를 사용해 훈련된 모델에 대해 멤버십 추론(MI) 공격 정밀도의 더 낳은 이론적 경계를 제시하며, 훈련 전 데이터셋의 부분 샘플링이 더 강력한 DP 보장보다 MI 성공률을 더 효과적으로 감소시킨다고 보여준다. 주요 기여는 훈련 세트의 부분 샘플링을 통한 새로운 프라이버시 약화 기법으로, 더 느슨한 DP 설정을 유지하면서도 프라이버시를 훼손하지 않으며, MNIST 및 CIFAR10에서 정확도-프라이버시 트레이드오프를 향상시킨다.

ABSTRACT

Differential Privacy (DP) is the de facto standard for reasoning about the privacy guarantees of a training algorithm. Despite the empirical observation that DP reduces the vulnerability of models to existing membership inference (MI) attacks, a theoretical underpinning as to why this is the case is largely missing in the literature. In practice, this means that models need to be trained with DP guarantees that greatly decrease their accuracy. In this paper, we provide a tighter bound on the positive accuracy (i.e., attack precision) of any MI adversary when a training algorithm provides $(\varepsilon, δ)$-DP. Our bound informs the design of a novel privacy amplification scheme: an effective training set is sub-sampled from a larger set prior to the beginning of training. We find this greatly reduces the bound on MI positive accuracy. As a result, our scheme allows the use of looser DP guarantees to limit the success of any MI adversary; this ensures that the model's accuracy is less impacted by the privacy guarantee. While this clearly benefits entities working with far more data than they need to train on, it can also improve the accuracy-privacy trade-off on benchmarks studied in the academic literature. Consequently, we also find that subsampling decreases the effectiveness of a state-of-the-art MI attack (LiRA) much more effectively than training with stronger DP guarantees on MNIST and CIFAR10. We conclude by discussing implications of our MI bound on the field of machine unlearning.

연구 동기 및 목표

• 미분적 보호(DP)와 멤버십 추론(MI) 공격에 대한 내성 저항력 간 이론적 격차를 메우기 위해, 특히 공격 정밀도 측면에서.
• $(\varepsilon,\delta)$-DP 모델에 대해 멤버십 추론의 양성 정확도(즉, 공격 정밀도)에 대한 더 낳은 경계를 개발하기 위해.
• 데이터셋의 부분 샘플링이 기존 DP 약화 기법보다 MI 취약성 감소에 더 효과적인 프라이버시 약화 방식으로 작용하는 방식을 탐색하기 위해.
• 부분 샘플링과 결합할 때 더 느슨한 DP 보장을 허용함으로써 정확도-프라이버시 트레이드오프를 향상시키기 위해.
• 기계적 데이터 삭제 문제에 적용하여, 성공적인 데이터 삭제를 위한 이론적 기준을 제공하기 위해.

제안 방법

• 유한한 의심되는 훈련 포인트 집합을 활용하여 수량화 보조정리를 사용해 MI 양성 정확도의 낳은 상한을 유도한다.
• 더 큰 풀에서 훈련 데이터셋을 부분 샘플링하여 새로운 프라이버시 약화 기법을 제안한다.
• 경계를 $(\varepsilon,\delta)$-DP로 확장하여 프라이버시 보장의 약간의 실패 확률을 고려한다.
• 부분 샘플링이 DP-SGD에서 배치 샘플링보다 프라이버시를 더 효과적으로 약화시켜 MI 성공률을 더 크게 감소시킴을 입증한다.
• 유도된 경계를 사용해 기계적 데이터 삭제의 이론적 임계값을 정의한다: 삭제된 데이터 포인트에 대해 멤버십 추론 확률이 충분히 낮을 경우 모델은 해당 데이터를 기억하지 못한 것으로 간주된다.
• MNIST 및 CIFAR10에서 경계를 실증적으로 검증하며, LiRA 공격 하에서 부분 샘플링과 더 강력한 DP 보장 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 $(\varepsilon,\delta)$-미분적 보호를 사용해 훈련된 모델에 대해 멤버십 추론 공격의 양성 정확도를 이론적으로 어떻게 경계할 수 있는가?
• RQ2 데이터셋의 부분 샘플링이 DP 보장 강화보다 멤버십 추론 공격 성공률을 얼마나 줄이는가?
• RQ3 부분 샘플링 기반 프라이버시 약화 기법이 기존 DP 약화 기법(예: 배치 샘플링)보다 MI 취약성 감소에 더 효과적인가?
• RQ4 제안된 경계는 효과적인 기계적 데이터 삭제 프로토콜 설계에 어떻게 기여하는가?
• RQ5 경계는 현재의 DP 보장이 데이터셋 구성(예: 부분 샘플링)을 고려할 경우 과도하게 보수적인지 드러내는가?

주요 결과

• 제안된 MI 양성 정확도 경계는 이전 연구보다 더 낳으며, 특히 고신뢰도 예측에서 두드러진다. 이 경계는 데이터 포인트가 훈련 세트에 포함될 확률인 사전 확률 $\mathbb{P}_{\mathbf{x}^{*}}(1)$ 에 의존한다.
• 더 큰 풀에서 훈련 세트를 부분 샘플링하면, DP 보장의 $\varepsilon$ 를 줄이는 것보다 MI 양성 정확도를 더 효과적으로 감소시킨다. 이는 MNIST 및 CIFAR10에서 입증되었다.
• LiRA 공격에서 부분 샘플링은 더 강력한 DP 보장보다 더 큰 성공률 감소를 달성하여, 제안된 약화 기법의 실용적 이점을 입증한다.
• 경계는 새로운 기계적 데이터 삭제 정의를 가능하게 한다: 멤버십 추론 확률이 충분히 낮을 경우, 모델은 해당 데이터 포인트를 삭제한 것으로 간주된다.
• 이 방법을 통해 더 느슨한 DP 보장(예: 더 높은 $\varepsilon$)을 유지하면서도 강력한 MI 저항성을 확보할 수 있으며, 프라이버시를 희생시키지 않고도 정확도를 향상시킬 수 있다.
• MI 정밀도에 대한 이론적 경계는 다양한 데이터셋에 대해 강건하며, 이전 가정에서 고정된 50% 기준 정확도가 공격자의 이점을 과소평가할 수 있음을 드러낸다.