[논문 리뷰] D2P-Fed: Differentially Private Federated Learning With Efficient Communication

Lun Wang, Ruoxi Jia외 1명|arXiv (Cornell University)|2020. 06. 22.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 20

한 줄 요약

D2P-FED는 이산 가우시안 노이즈 주입, 보안 집계, 확률적 양자화, 무작위 회전을 결합한 새로운 피어드된 학습 프레임워크를 제안한다. 이는 강력한 차별적 비밀유지 보장을 달성하면서도 통신 비용을 감소시킨다. 이전의 cpSGD와 비교해 더 날카운 비밀유지 조합을 제공하며, 동일한 비밀유지 예산 하에 모델 정확도를 4.7%에서 13.0%까지 향상시키고 통신 비용을 1/3 감소시킨다.

ABSTRACT

In this paper, we propose the discrete Gaussian based differentially private federated learning (D2P-Fed), a unified scheme to achieve both differential privacy (DP) and communication efficiency in federated learning (FL). In particular, compared with the only prior work taking care of both aspects, D2P-Fed provides stronger privacy guarantee, better composability and smaller communication cost. The key idea is to apply the discrete Gaussian noise to the private data transmission. We provide complete analysis of the privacy guarantee, communication cost and convergence rate of D2P-Fed. We evaluated D2P-Fed on INFIMNIST and CIFAR10. The results show that D2P-Fed outperforms the-state-of-the-art by 4.7% to 13.0% in terms of model accuracy while saving one third of the communication cost.

연구 동기 및 목표

• 피어드된 학습에서 차별적 비밀유지와 높은 통신 비용이라는 이중적 과제를 해결하기 위해.
• 강력한 비밀유지 보장을 동시에 확보하면서도 통신 오버헤드를 최소화하는 통합 프레임워크를 개발하기 위해.
• 이산 가우시안 메커니즘을 활용해 cpSGD를 초월하여 더 날카운 비밀유지 조합과 낮은 노이즈 스케일을 제공함으로써 cpSGD를 향상시키기 위해.
• 동적 클라이언트 참여 환경에서 실세계 적용이 가능한 비밀유지 피어드된 학습의 구현을 가능하게 하기 위해.

제안 방법

• 클라이언트 업데이트에 이산 가우시안 메커니즘을 적용하여 레니 비밀유지(비밀유지)를 보장한다.
• 개별 업데이트를 보호하고 노이즈 크기를 줄이기 위해 보안 집계를 활용한다.
• 모델 업데이트의 통신을 압축하고 안정화하기 위해 확률적 양자화와 무작위 회전을 통합한다.
• 피어드된 학습 과정을 분산 평균 추정 문제로 간주하여 유용성과 수렴성에 대한 공식적 분석을 수행한다.
• RDP 조합 경계를 사용하여 이산 이항 노이즈를 사용하는 약간의 DP에 비해 더 날카운 비밀유지 예산을 유도한다.
• RDP 경계를 (ε, δ)-DP로 변환하여 이전 연구와 직접 비교할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기존 방법들과 비교해 이산 가우시안 기반 메커니즘이 피어드된 학습에서 더 날카운 비밀유지 조합과 낮은 통신 비용을 달성할 수 있는가?
• RQ2 양자화와 무작위 회전의 통합이 차별적 비밀유지 하에서 모델 정확도와 통신 효율성에 어떤 영향을 미치는가?
• RQ3 다양한 클라이언트 참여 환경에서 보안 집계와 결합했을 때 D2P-FED는 강력한 비밀유지 보장을 유지하는가?
• RQ4 동일한 비밀유지 예산 하에서 D2P-FED는 cpSGD에 비해 모델 정확도와 통신 비용 측면에서 어떻게 비교되는가?
• RQ5 노이즈 스케일과 양자화 수준은 훈련된 모델의 수렴성과 유용성에 어떤 영향을 미치는가?

주요 결과

• 동일한 비밀유지 예산 하에서 D2P-FED는 INFIMNIST에서 cpSGD보다 4.7% 높은 모델 정확도를 달성했고, CIFAR10에서는 13.0% 높았다.
• D2P-FED는 cpSGD 대비 통신 비용을 1/3 감소시켰지만 모델 정확도를 유지하거나 향상시켰다.
• 이산 가우시안 메커니즘이 더 날카운 비밀유지 조합을 가능하게 하여 비밀유지 예산이 O(γ√Tǫ)로 스케일링되며, cpSGD 대비 √log(1/δ) 요소를 절감한다.
• 더 날카운 조합 덕분에 동일한 비밀유지 예산 하에서 D2P-FED는 cpSGD보다 O(√log(1/δ))-배 빠르게 수렴한다.
• 50% 압축률에서 D2P-FED는 25% 압축률에서 cpSGD보다 더 높은 정확도를 달성했고, cpSGD는 50% 압축률에서 수렴하지 못하거나 수용 가능한 비밀유지 예산을 초과했다.
• 이상적인 데이터 분포가 아닐 경우에도 실험적 평가를 통해 이 방법이 효과가 있음을 입증했다.