[논문 리뷰] Synthetic Data -- Anonymisation Groundhog Day

Theresa Stadler, Bristena Oprisanu외 1명|arXiv (Cornell University)|2020. 11. 13.

Privacy-Preserving Technologies in Data참고 문헌 52인용 수 9

한 줄 요약

이 논문은 전통적인 익명화 기법과 대비하여 합성 데이터가 개인정보 보호를 위한 만능 해결책으로 여겨지는 인식에 도전하며, 개인정보-유용성 트레이드오프를 정량적으로 평가한다. 합성 데이터가 추론 공격으로부터 보호하지 못하거나 상당한 데이터 유용성을 기여하지 못함을 입증하며, 개인정보 보호의 이점은 예측 불가능하고 구현에 따라 달라지며, 특히 차별적 프라이버시 보장 조건 하에서 그러하다.

ABSTRACT

Synthetic data has been advertised as a silver-bullet solution to privacy-preserving data publishing that addresses the shortcomings of traditional anonymisation techniques. The promise is that synthetic data drawn from generative models preserves the statistical properties of the original dataset but, at the same time, provides perfect protection against privacy attacks. In this work, we present the first quantitative evaluation of the privacy gain of synthetic data publishing and compare it to that of previous anonymisation techniques. Our evaluation of a wide range of state-of-the-art generative models demonstrates that synthetic data either does not prevent inference attacks or does not retain data utility. In other words, we empirically show that synthetic data does not provide a better tradeoff between privacy and utility than traditional anonymisation techniques. Furthermore, in contrast to traditional anonymisation, the privacy-utility tradeoff of synthetic data publishing is hard to predict. Because it is impossible to predict what signals a synthetic dataset will preserve and what information will be lost, synthetic data leads to a highly variable privacy gain and unpredictable utility loss. In summary, we find that synthetic data is far from the holy grail of privacy-preserving data publishing.

연구 동기 및 목표

• 합성 데이터가 전통적인 행 수준 익명화 기법보다 더 나은 개인정보-유용성 트레이드오프를 제공하는지 경험적으로 평가하는 것.
• 합성 데이터셋이 인위적으로 생성된 자료임에도 불구하고 연계 공격 및 속성 추론 공격에 취약한지 조사하는 것.
• 합성 데이터 배포에 사용되는 생성 모델에서 차별적 프라이버시 보장의 신뢰성 평가.
• 다양한 데이터 배포 방법 간의 개인정보 및 유용성 비교를 위한 실무자용 평가 프레임워크 개발 및 오픈소스화.
• 합성 데이터가 고차원 데이터 공유에 내재된 기본적인 개인정보-유용성 트레이드오프를 해결하지 못함을 보여주는 것.

제안 방법

• 실제 데이터셋(텍사스 및 UCI 데이터셋 포함)에 대해 최신 생성 모델(예: PrivBayes, GANs)을 정량적으로 평가.
• 두 가지 새로운 개인정보 공격 기법 도입: 이질적 기록을 대상으로 하는 연계 공격과 RiskMortality와 같은 민감한 속성에 대한 속성 추론 공격.
• 합성 데이터와 전통적 행 수준 정제 및 차별적 프라이버시 보장 배포 방식 간 비교를 위해 개인정보 이득(PG)과 유용성 우위(AdvU) 측정.
• 모델 내부 정보를 요구하지 않고도 실제 악성 공격 시나리오를 시뮬레이션하기 위해 생성 모델에 블랙박스 접근 방식 사용.
• 공식 개인정보 보장 보장을 위반하는 구현 결함를 수정하기 위해 두 가지 차별적 프라이버시 보장 생성 알고리즘(PrivBayes 및 유사 알고리즘) 재구현.
• 다양한 데이터 배포 기법에 대한 개인정보 및 유용성의 재현 가능한 벤치마킹을 가능하게 하는 오픈소스 평가 라이브러리 개발.

실험 결과

연구 질문

• RQ1 합성 데이터가 전통적인 행 수준 익명화 기법보다 더 나은 개인정보-유용성 트레이드오프를 제공하는가?
• RQ2 어떤 공격자가 합성 데이터셋만을 사용하여 원본 데이터셋에 특정 개인 기록의 존재를 얼마나 정확하게 추론할 수 있는가?
• RQ3 합성 데이터 배포에서 개인정보 이득과 유용성 손실은 결정론적 정제 기법 대비 얼마나 예측 가능할 수 있는가?
• RQ4 기존의 차별적 프라이버시 보장 생성 모델이 실제로는 공식 개인정보 보장을 유지하는가?
• RQ5 구현 수준의 결정이 합성 데이터의 개인정보 및 유용성에 어떤 영향을 미치는가?

주요 결과

• 명시적인 개인정보 보호 조치 없이 생성된 합성 데이터는 이질적 기록을 연쇄 공격으로부터 보호하지 못하며, 공격자가 목표 기록의 존재를 높은 신뢰도로 추론할 수 있다.
• 차별적 프라이버시 보장이 적용된 합성 데이터는 개인 기록 신호를 억제함으로써 개인정보 泄露 를 줄이지만, 소수 집단에 특히 심각한 유용성 손실을 동반한다.
• 합성 데이터의 개인정보-유용성 트레이드오프는 매우 예측 불가능하다: 어떤 데이터 특성이 유지되거나 억제될지 예측할 수 없다.
• 두 가지 널리 사용되는 차별적 프라이버시 보장 생성 모델(예: PrivBayes)의 구현 결함는 공식 개인정보 보장 보장을 위반하여 일부 기록이 추론 공격에 취약하게 된다.
• 합성 데이터가 집합 통계를 유지하더라도 노이즈를 도입함으로써 기존의 쿼리 기반 개인정보 보장 메커니즘보다 유용성이 떨어진다.
• 평가 프레임워크 분석 결과, 고개인 개인정보 보장 합성 데이터셋은 종종 낮은 유용성을 보이며, 이는 데이터 기반 의사결정에서 편향되거나 잘못된 결론을 이끌 수 있다.