[논문 리뷰] Encode, Shuffle, Analyze Privacy Revisited: Formalizations and Empirical Evaluation

Úlfar Erlingsson, Vitaly Feldman외 5명|arXiv (Cornell University)|2020. 01. 10.

Privacy-Preserving Technologies in Data참고 문헌 45인용 수 36

한 줄 요약

본 논문은 ESA 프레임워크에서 익명화를 통한 프라이버시 증강을 형식화하고, 제거 기반 LDP와 데이터 분할 기법을 도입하며, 익명성과 로컬-DP 보고의 실용적인 프라이버시-유용성 트레이드오프를 보여주는 실증 평가를 제시한다.

ABSTRACT

Recently, a number of approaches and techniques have been introduced for reporting software statistics with strong privacy guarantees. These range from abstract algorithms to comprehensive systems with varying assumptions and built upon local differential privacy mechanisms and anonymity. Based on the Encode-Shuffle-Analyze (ESA) framework, notable results formally clarified large improvements in privacy guarantees without loss of utility by making reports anonymous. However, these results either comprise of systems with seemingly disparate mechanisms and attack models, or formal statements with little guidance to practitioners. Addressing this, we provide a formal treatment and offer prescriptive guidelines for privacy-preserving reporting with anonymity. We revisit the ESA framework with a simple, abstract model of attackers as well as assumptions covering it and other proposed systems of anonymity. In light of new formal privacy bounds, we examine the limitations of sketch-based encodings and ESA mechanisms such as data-dependent crowds. We also demonstrate how the ESA notion of fragmentation (reporting data aspects in separate, unlinkable messages) improves privacy/utility tradeoffs both in terms of local and central differential-privacy guarantees. Finally, to help practitioners understand the applicability and limitations of privacy-preserving reporting, we report on a large number of empirical experiments. We use real-world datasets with heavy-tailed or near-flat distributions, which pose the greatest difficulty for our techniques; in particular, we focus on data drawn from images that can be easily visualized in a way that highlights reconstruction errors. Showing the promise of the approach, and of independent interest, we also report on experiments using anonymous, privacy-preserving reporting to train high-accuracy deep neural networks on standard tasks---MNIST and CIFAR-10.

연구 동기 및 목표

• 익명화가 ESA 프레임워크 내에서 로컬-DP 보고의 프라이버시를 언제 어떻게 증강하는지 명확히 한다.
• 익명화를 활용한 프라이버시 보존 보고를 실용적이고 규범적으로 배치하기 위한 가이드라인을 제공한다.
• 고차원 데이터 분포에서 프라이버시-유용성 트레이드오프를 최적화하는 기본 구성요소를 식별한다.
• 분할, 원-핫 인코딩, 스케치 기반 방법이 프라이버시와 유용성에 미치는 영향을 평가한다.
• 실세계 작업 및 강력한 중앙 프라이버시 보장을 가진 딥러닝 모델 학습에의 적용 가능성을 보여준다.

제안 방법

• ESA 프레임워크를 재검토하고 익명화 기반 보고를 위한 간단한 추상적 공격자 모델과 가정들을 제시한다.
• 제거 기반 로컬 DP를 정의하고 이를 분산 모니터링에서의 실용적 프라이버시를 포착하기 위한 교체 기반 DP와 대조한다.
• 리포트 인코딩, 속성 분할, 리포트 분할을 프라이버시와 유용성을 제어하는 메커니즘으로 도입한다.
• 스케치 기반 인코딩과 데이터 의존적 크라우드의 한계를 특정 분포에서 강조하며 평가한다.
• 데이터를 다수의 연동 불가한 리포트로 분할하여 프라이버시-유용성 트레이드오프를 개선하는 방식을 제안한다.
• 실세계의 거대 꼬리 분포 데이터와 익명 LDP 보고서를 이용한 neural network 학습의 실증 평가를 제공한다.

실험 결과

연구 질문

• RQ1 익명화를 통해 프라이버시 증강을 형식화하고 실용적 통계 보고에 활용하는 방법은 무엇인가?
• RQ2 간단한 기본 구성요소(제거 LDP, 원-핫 인코딩, 분할, 익명 셔플링) 중 어떤 것이 유용성을 보존하면서 프라이버시를 최대화하는가?
• RQ3 스케치 기반 인코딩 및 데이터 의존적 그룹화(Crowd IDs 등)가 실무에서 프라이버시/유용성을 개선하는가, 아니면 악화하는가?
• RQ4 익명 LDP 보고서를 표준 작업에서 고정밀 모델 학습에 효과적으로 사용할 수 있는가?
• RQ5 익명 LDP 시스템을 배포하는 실무자에게 현실적인 공격 모델과 위협 가정은 무엇인가?

주요 결과

• 익명 셔플링은 적절한 조건에서 중심 프라이버시 보장을 크게 강화하면서도 유용성을 해치지 않을 수 있다.
• 제거 기반 LDP 정의는 교체 기반 DP에 비해 로컬 프라이버시 보장을 두 배 강화할 수 있다.
• 속성 분할과 리포트 분할은 고차원적이고 희소한 데이터 표현에서 프라이버시-유용성 트레이드오프를 뚜렷하게 개선한다.
• 스케치 기반 인코딩은 통신을 줄일 수 있지만, 데이터 분포에 정밀하게 맞추지 않으면 추가적 노이즈가 프라이버시 이득을 상쇄한다.
• 원-핫 인코딩과 분할은 강력한 유용성을 제공하지만 더 높은 로컬 프라이버시 예산이 필요할 수 있으며, 스케칭은 신중한 파라미터 조정이 필요하고 덜 유익할 수 있다.
• 익명 LDP 리포트는 MNIST와 CIFAR-10과 같은 표준 과제에서 강한 중앙 프라이버시 하에 고정밀 딥ニュー럴 네트워크 학습에 효과적으로 활용될 수 있다.