[논문 리뷰] The Skellam Mechanism for Differentially Private Federated Learning

Naman Agarwal, Peter Kairouz외 1명|arXiv (Cornell University)|2021. 10. 11.

Privacy-Preserving Technologies in Data참고 문헌 43인용 수 37

한 줄 요약

다차원 Skellam 메커니즘을 이산 형 차등 프라이버시를 위해 도입하고, 그것의 Rényi DP 보장을 분석하며, 통신 제약 하의 보안 집계로 연합 학습에서 프라이버시-유틸리티 성능이 경쟁력 있음을 보여준다.

ABSTRACT

We introduce the multi-dimensional Skellam mechanism, a discrete differential privacy mechanism based on the difference of two independent Poisson random variables. To quantify its privacy guarantees, we analyze the privacy loss distribution via a numerical evaluation and provide a sharp bound on the Rényi divergence between two shifted Skellam distributions. While useful in both centralized and distributed privacy applications, we investigate how it can be applied in the context of federated learning with secure aggregation under communication constraints. Our theoretical findings and extensive experimental evaluations demonstrate that the Skellam mechanism provides the same privacy-accuracy trade-offs as the continuous Gaussian mechanism, even when the precision is low. More importantly, Skellam is closed under summation and sampling from it only requires sampling from a Poisson distribution -- an efficient routine that ships with all machine learning and data analysis software packages. These features, along with its discrete nature and competitive privacy-accuracy trade-offs, make it an attractive practical alternative to the newly introduced discrete Gaussian mechanism.

연구 동기 및 목표

• 고차원 연합 학습 및 보안 집계에 적합한 이산적이고 쉽게 샘플링할 수 있는 DP 메커니즘의 필요성을 제시.
• 두 포아송 변수의 차를 노이즈 모델로 하는 다차원 Skellam 메커니즘 제안.
• Rényi DP 및 프라이버시 손실 분포를 통한 촘촘한 프라이버시 보장을 제공하고, 가우시안 트레이드오프와의 일치를 목표로 한다.
• 커뮤니케이션 제약이 있는 FL 시나리오를 포함한 중앙집중형 및 분산 DP 설정에서의 실용적 적용 가능성을 시연한다.

제안 방법

• 다차원 스켈람 분포를 정의하고 합에 닫혀 분산 분석이 가능하도록 합산에 대한 닫힘 성질을 보인다.
• 정수 값 쿼리에 Skellam 노이즈를 더해 Skellam 메커니즘을 개발한다.
• 프라이버시 손실 분포를 통해 프라이버시를 특징짓고 정수 α>1에 대해 날카로운 (α, ε)-RDP 경계를 증명한다.
• Skellam 메커니즘의 RDP 보장이 Gaussian 메커니즘에 비해 1+O(1/μ)배 이내에 있음을 보인다.
• 모듈러 산술과 이산화를 적용해 Skellam을 보안 집계가 있는 연합 학습에 맞춘다.
• Skellam을 이산 가우시안 및 이항 메커니즘과 비교해 실용적 이점을 주장한다.
• 통신 제약 하에 이산화, 반올림 및 Skellam 노이즈를 포함하는 엔드투엔드 FL 알고리즘을 제공한다.

실험 결과

연구 질문

• RQ1 고차원적이고 반복적인 학습에서 가우시안 노이즈와 유사한 프라이버시-유틸리티 트레이드오프를 달성할 수 있는 닫혀 있는 합산 노이즈 메커니즘이 가능한가?
• RQ2 다차원 설정에서 Rényi DP를 사용해 Skellam 노이즈를 어떻게 효과적으로 정량화하고 구성할 수 있는가?
• RQ3 통신 제약 하에서 보안 집계가 있는 연합 학습에서 유용성을 희생하지 않고 Skellam 기반 DP를 배포하는 것이 실현 가능한가?
• RQ4 실용적 FL 파이프라인에서 이산화, 스케일링, 반올림이 민감도와 프라이버시에 어떤 영향을 미치는가?
• RQ5 샘플링, 합산 및 소프트웨어 지원 측면에서 Skellam은 이산 Gaussian 및 이항 메커니즘과 어떻게 비교되는가?
• RQ6

주요 결과

• 다차원 Skellam 메커니즘은 (α, ε(α))-RDP를 제공하며 ε(α)는 Gaussian 기준에 가깝게 상한되며, 1+O(1/μ)까지.
• Skellam 노이즈는 합산에 닫혀 있어 보안 집계가 가능한 효율적인 분산 DP를 가능하게 한다.
• 이산 Skellam 샘플링은 포아송 샘플링으로 축소되어 활용 가능한 소프트웨어와 하드웨어 지원과 일치한다.
• 메커니즘은 엄격한 프라이버시와 통신 예산 하에서 연합 학습에서 Gaussian 프라이버시-정확도 트레이드오프와 일치한다.
• 이산화 및 반올림 전략은 중앙 집중형 및 분산 DP 설정에서 민감도를 제한하고 유용성을 유지할 수 있다.
• 분산 평균 추정 및 연합 데이터셋(Federated EMNIST, Stack Overflow, Shakespeare)에 대한 경험적 평가에서 Gaussian 기준과 경쟁력 있는 성능을 보인다.