[논문 리뷰] The Inadequacy of Similarity-based Privacy Metrics: Privacy Attacks against "Truly Anonymous" Synthetic Datasets

Georgy Ganev, Emiliano De Cristofaro|arXiv (Cornell University)|2023. 12. 08.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 합성 데이터 제공업체가 개인정보 보호를 주장하는 데 사용하는 유사도 기반 개인정보 메트릭스(SBPMs)에 심각한 결함이 있음을 폭 드러낸다. 이는 단지 생성 모델과 개인정보 메트릭스만을 이용해도 78%의 저밀도 학습 레코드를 복원할 수 있는 블랙박스 재구성 공격인 ReconSyn을 제안하며, SBPMs가 차등적 프라이버시 또는 저성능 생성기와 조합되어도 여전히 개인정보 보호를 보장하지 못함을 입증한다.

ABSTRACT

Generative models producing synthetic data are meant to provide a privacy-friendly approach to releasing data. However, their privacy guarantees are only considered robust when models satisfy Differential Privacy (DP). Alas, this is not a ubiquitous standard, as many leading companies (and, in fact, research papers) use ad-hoc privacy metrics based on testing the statistical similarity between synthetic and real data. In this paper, we examine the privacy metrics used in real-world synthetic data deployments and demonstrate their unreliability in several ways. First, we provide counter-examples where severe privacy violations occur even if the privacy tests pass and instantiate accurate membership and attribute inference attacks with minimal cost. We then introduce ReconSyn, a reconstruction attack that generates multiple synthetic datasets that are considered private by the metrics but actually leak information unique to individual records. We show that ReconSyn recovers 78-100% of the outliers in the train data with only black-box access to a single fitted generative model and the privacy metrics. In the process, we show that applying DP only to the model does not mitigate this attack, as using privacy metrics breaks the end-to-end DP pipeline.

연구 동기 및 목표

• 산업계에서 합성 데이터의 개인정보 보호를 실증적으로 보장하기 위해 사용하는 유사도 기반 개인정보 메트릭스(SBPMs)의 내재된 취약점을 분석하기 위해.
• 표준 평가 기준을 통과함에도 불구하고 SBPMs가 잘못된 개인정보 보장 조건을 제공한다는 것을 입증하기 위해.
• 단지 생성 모델과 SBPMs만을 이용해도 학습 레코드를 복원할 수 있는 블랙박스 재구성 공격인 ReconSyn을 제안하기 위해.
• 차등적 프라이버시(DP)를 적용한 모델이라도, 불변형 히우리스틱과 조합될 경우 ReconSyn을 완화하지 못함을 보여주기 위해.
• SBPMs가 GDPR 준수를 위해 충분하지 않으며, 주요 개인정보 보호 보증 수단으로서 사용되어서는 안 된다고 주장하기 위해.

제안 방법

• 최소한의 가정 하에 작동하는 재구성 공격인 ReconSyn을 설계함: 단일 훈련된 생성 모델과 개인정보 메트릭스에 대한 블랙박스 접근 권한이 있음.
• SBPMs의 구조를 악용하여 반복적으로 합성 샘플을 생성하고, 동일한 메트릭스를 사용해 학습 레코드와의 유사도를 측정함.
• 생성 모델이 잘 시뮬레이션하기 어려운 저밀도 학습 레코드(이상치)를 대상으로 하여, 이들이 재구성에 더 취약해지도록 함.
• SBPMs에서 도출된 통계적 거리 임계값을 활용해, 합성 샘플에 너무 가까운 레코드를 탐색함으로써 기억된 데이터일 가능성이 있음을 식별함.
• 다양한 데이터셋(Adult, Census, MNIST)에서 최신의 테이블 기반 생성 모델들(PrivBayes, MST, DPGAN, PATE-GAN, CTGAN)에 대해 공격를 적용함.
• 공격가가 생성 모델의 성능이 낮은 경우(예: Random, Independent)에도 효과적으로 작동함을 입증함으로써, 泄露의 주요 원인이 모델이 아니라 개인정보 메트릭스임을 증명함.

실험 결과

연구 질문

• RQ1 유사도 기반 개인정보 메트릭스는 합성 데이터의 개인정보 泄露를 신뢰성 있게 탐지하고 방지할 수 있는가?
• RQ2 표준 평가 기준을 통과함에도 불구하고, SBPMs가 저밀도 학습 레코드(이상치)를 얼마나 잘 보호하지 못하는가?
• RQ3 블랙박스 공격자가 생성 모델과 SBPMs 자체에만 접근해도 학습 데이터를 재구성할 수 있는가?
• RQ4 생성 모델에 차등적 프라이버시(DP)를 적용해도, SBPMs가 그대로 사용될 경우 재구성 공격를 완화할 수 있는가?
• RQ5 SBPMs는 GDPR과 같은 개인정보 보호 규정 준수에 충분한가?

주요 결과

• ReconSyn은 모든 평가 환경에서 저밀도 학습 레코드(이상치)의 최소 78%를 정밀도 100%로 성공적으로 재구성함.
• 공격는 성능이 낮은 생성기(예: Random, Independent)에서도 효과적으로 작동함을 입증하여, 주요 泄露 원인이 모델이 아니라 개인정보 메트릭스임을 증명함.
• 차등적 프라이버시(DP)를 적용한 생성 모델이라도, 불변형 히우리스틱과 조합될 경우 ReconSyn을 방지하지 못함. 이는 공격가가 메트릭스 자체를 직접 악용하기 때문임.
• 연구는 널리 사용되는 SBPMs에 심각한 결함이 있음을 밝혀내며, 반례를 통해 개인정보 테스트는 통과되지만 실제 데이터 泄露가 발생하는 경우를 입증함.
• SBPMs는 충분한 개인정보 보호 보장을 제공하지 못하며, GDPR 준수에 부적합함. 이는 속성 또는 멤버십 추론 공격를 방지하지 못하기 때문임.
• 공격는 생성 모델 유형, 데이터셋, 응용 분야에 관계없이 작동하므로, 현재 합성 데이터 기반 실천 방식에 광범위한 적용 가능성과 체계적 위험을 드러냄.