[논문 리뷰] Protection Against Reconstruction and Its Applications in Private Federated Learning

Abhishek Bhowmick, John C. Duchi외 3명|arXiv (Cornell University)|2018. 12. 03.

Privacy-Preserving Technologies in Data참고 문헌 60인용 수 261

한 줄 요약

이 논문은 로컬 프라이버시 연합학습에서 재구성(Reconstruction)으로부터의 보호에 초점을 둔 프라이버시 프레임워크를 제안하고, 고차원 데이터에 대해 맥시멈-최적(local minimax) 로컬 프라이버시 메커니즘을 개발하며, 제한된 유용성 손실로 대규모의 프라이빗 모델 학습을 실용적으로 시연한다.

ABSTRACT

In large-scale statistical learning, data collection and model fitting are moving increasingly toward peripheral devices---phones, watches, fitness trackers---away from centralized data collection. Concomitant with this rise in decentralized data are increasing challenges of maintaining privacy while allowing enough information to fit accurate, useful statistical models. This motivates local notions of privacy---most significantly, local differential privacy, which provides strong protections against sensitive data disclosures---where data is obfuscated before a statistician or learner can even observe it, providing strong protections to individuals' data. Yet local privacy as traditionally employed may prove too stringent for practical use, especially in modern high-dimensional statistical and machine learning problems. Consequently, we revisit the types of disclosures and adversaries against which we provide protections, considering adversaries with limited prior information and ensuring that with high probability, ensuring they cannot reconstruct an individual's data within useful tolerances. By reconceptualizing these protections, we allow more useful data release---large privacy parameters in local differential privacy---and we design new (minimax) optimal locally differentially private mechanisms for statistical learning problems for \emph{all} privacy levels. We thus present practicable approaches to large-scale locally private model training that were previously impossible, showing theoretically and empirically that we can fit large-scale image classification and language models with little degradation in utility.

연구 동기 및 목표

• 분산 데이터 설정에서 로컬 프라이버시를 동기 부여하고 연합학습에서의 재구성 위험을 다룬다.
• 한정된 사전 정보로 탐탁한 호기심 있는 구경꾼의 재구성에 초점을 맞춘 정교한 위협 모델을 제안한다.
• ε ≤ d 범위의 모든 프라이버시 수준에서 고차원 벡터에 대해 맥시멈-최적의 로컬 프라이버시 메커니즘을 개발한다.
• 실용적이고 큰 규모의 프라이빗 모델 학습을 유용성 저하를 최소화하며 시연한다.
• 로컬 프라이버시 보호 하에서 이미지 분류와 언어 모델링에 대한 실증적 결과를 제공한다.

제안 방법

• 제한된 사전 정보로(privatized outputs)에서 데이터를 재구성하려는 적대자가 재구성 보호 프라이버시 모델을 정의한다.
• ε-로컬 차등 프라이버시와 Reconstruction Breach 개념을 도입하여 데이터 재구성에 대한 보호를 정량화한다.
• 단위 구에서 고차원 벡터를 위한 새로운 맥시멈-최적의 비공개화 메커니즘을 개발한다.
• 이 메커니즘 하에서 확률적-경사 기반 비공개 학습 스킴의 점근적 거동을 분석한다.
• 로컬 프라이버시 계층을 더 넓은 중앙 프라이버시 프레임워크 내에 삽입하여 엔드-투-엔드 보호를 구현한다.
• 개인 업데이트와 중앙 프라이버시 계정화를 갖춘 프로토타입 프라이빗 연합 학습 시스템을 시연한다.

실험 결과

연구 질문

• RQ1 로컬 프라이버시 연합학습 설정에서 개인 데이터를 정확하게 재구성하는 것을 어떻게 방지할 수 있을까?
• RQ2 ε이 [0, d] 범위에서 고차원 데이터에 대해 맥시멈-최적의 로컬 프라이버시 메커니즘은 무엇인가?
• RQ3 대규모 이미지 및 언어 모델을 유용성 저하를 크게 없애고 프라이빗하게 학습할 수 있는가?
• RQ4 재구성 보호가 연합 설정에서 중앙 DP와 어떻게 상호 작용하는가?

주요 결과

• ε가 d까지인 로컬 프라이빗 메커니즘이 프라이버시 수준에 걸쳐 맥시멈-최적의 성능을 달성한다.
• 확산된 사전(priors) 하에서 재구성 침해는 촘촘히 제한될 수 있으며, ε가 증가하고 사전 정보가 더 정보적일수록 보호가 개선된다.
• 제안된 프레임워크는 비공개가 아닌 비교대비 큰 규모의 로컬 프라이빗 모델 학습을 실용적 절차로 가능하게 하며 유용성 손실이 작다.
• 실험은 제안된 보호 하에서 이미지 분류 및 언어 모델에 대한 프라이빗 연합 학습의 가능성을 시사한다.
• 로컬 재구성 보호와 중앙 DP의 조합은 강한 프라이버시를 유지하면서 확장 가능한 분산 학습을 지원한다.