[논문 리뷰] The Distributed Discrete Gaussian Mechanism for Federated Learning with Secure Aggregation

Peter Kairouz, Ziyu Liu외 1명|arXiv (Cornell University)|2021. 02. 12.

Privacy-Preserving Technologies in Data인용 수 41

한 줄 요약

이 논문은 연합 학습을 위한 보안 집계와 통합된 분산 이산 가우시안 메커니즘을 제시하고, 이산화 및 모듈러 산술 하에서 프라이버시와 정확성을 분석하며, 낮은 통신으로 거의 중앙 DP 수준의 정확도를 시연한다(값당 비트 수 ≤16비트).

ABSTRACT

We consider training models on private data that are distributed across user devices. To ensure privacy, we add on-device noise and use secure aggregation so that only the noisy sum is revealed to the server. We present a comprehensive end-to-end system, which appropriately discretizes the data and adds discrete Gaussian noise before performing secure aggregation. We provide a novel privacy analysis for sums of discrete Gaussians and carefully analyze the effects of data quantization and modular summation arithmetic. Our theoretical guarantees highlight the complex tension between communication, privacy, and accuracy. Our extensive experimental results demonstrate that our solution is essentially able to match the accuracy to central differential privacy with less than 16 bits of precision per value.

연구 동기 및 목표

• 프라이버시를 보장하는 연합 학습에서 업데이트가 디바이스 간에 분산될 때 프라이버시를 확보하는 동기를 제시합니다.
• 업데이트를 이산화하고 secure aggregation 전에 이산 가우시안 노이즈를 추가하는 엔드 투 엔드 시스템을 제안합니다.
• 양자화와 모듈러 합에 따른 이산 가우시안 합에 대한 이론적 프라이버시 분석을 제공합니다.
• 이산화, 노이즈 및 모듈러 산술이 정확도와 통신에 미치는 영향을 분석합니다.
• 중앙 DP와 비교하여 낮은 비트 정밀도에서의 실용적 유용성을 실험으로 보여줍니다.

제안 방법

• 클라이언트 측에서 x_i에 클리핑, 그레나랄리티(granularity), 및 Hadamard 형의 평탄화 변환을 적용합니다.
• 각 클라이언트가 이산화된 벡터를 임의로 정수로 반올림하고 Z_m^d에서 z_i를 보내기 전에 이산 가우시안 노이즈를 추가합니다.
• Secure aggregation을 블랙박스로 사용하여 z_i를 모듈로 m으로 합산하고 집계만 공개합니다.
• 서버는 모듈 합을 실수 벡터로 다시 매핑하여 입력의 합을 근사합니다.
• 이 프로토콜에 대한 이론적 프라이버시 보장: (1/2)·epsilon^2-concentrated DP.
• 주어진 매개변수 하에서 정확도 분석은 평균 제곱 오차가 c^2 d / epsilon^2와 스케일링됨을 보여줍니다.

실험 결과

연구 질문

• RQ1 업데이트가 정수로 양자화될 때 보안 집계 하에서 연합 학습 업데이트를 어떻게 프라이버시 보장할 수 있는가?
• RQ2 모듈러 산술이 있는 분산 DP 설정에서 이산 가우시안의 합이 강력한 프라이버시 보장을 제공할 수 있는가?
• RQ3 SecAgg가 있는 FL에서 이산화 정밀도, 노이즈 스케일, 통신 간의 트레이드오프는 어떠한가?
• RQ4 분산 DP가 실질적으로 중앙 DP에 얼마나 근접할 수 있는가?

주요 결과

• 주어진 가정 및 매개변수 하에서 프로토콜은 (1/2)·epsilon^2-concentrated DP를 달성합니다.
• 평균 제곱 오차 하한은 O(c^2 d / epsilon^2)로 중앙 DP의 정확도 순서를 따라갑니다.
• 실험에서 좌표당 16비트가 중앙 집중식 가우시안 메커니즘의 효용을 거의 일치시키기에 충분함을 보입니다.
• 시스템은 차원에서 거의 선형 시간 및 통신 비용 O(d log m)으로 실용적이며,
• 오픈 소스 구현이 제공되며(TensorFlow Privacy/Federated) DME 및 FL 작업에의 적용 가능성을 시연합니다.