[논문 리뷰] Federated Learning with Differential Privacy: Algorithms and Performance Analysis

Kang Wei, Jun Li외 7명|arXiv (Cornell University)|2019. 11. 01.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 88

한 줄 요약

NbAFL을 제안하는 차등 개인정보 보호 기반 연합학습 프레임워크로, 집계 전 노이즈를 추가하고 이론적 수렴 경계와 K-랜덤 스케줄링 변형을 제공합니다.

ABSTRACT

In this paper, to effectively prevent information leakage, we propose a novel framework based on the concept of differential privacy (DP), in which artificial noises are added to the parameters at the clients side before aggregating, namely, noising before model aggregation FL (NbAFL). First, we prove that the NbAFL can satisfy DP under distinct protection levels by properly adapting different variances of artificial noises. Then we develop a theoretical convergence bound of the loss function of the trained FL model in the NbAFL. Specifically, the theoretical bound reveals the following three key properties: 1) There is a tradeoff between the convergence performance and privacy protection levels, i.e., a better convergence performance leads to a lower protection level; 2) Given a fixed privacy protection level, increasing the number $N$ of overall clients participating in FL can improve the convergence performance; 3) There is an optimal number of maximum aggregation times (communication rounds) in terms of convergence performance for a given protection level. Furthermore, we propose a $K$-random scheduling strategy, where $K$ ($1

연구 동기 및 목표

• 업로드된 파라미터로부터 정보 누수를 방지하기 위해 프라이버시 보호 연합학습의 필요성과 동기를 부여합니다.
• 클라이언트와 서버에서 가우시안 노이즈를 추가하여 DP를 만족시키는 Noising before Aggregation FL (NbAFL)을 도입합니다.
• DP 하에서 NbAFL의 이론적 수렴 경계를 도출하여 프라이버시-유용성 트레이드오프와 최적의 집계 매개변수를 밝힙니다.
• 수렴 및 프라이버시 영향 분석을 위한 K-랜덤 스케줄링 스킴을 제안합니다.
• 구성 가능한 프라이버시-유용성 트레이드오프를 갖춘 프라이버시 보호형 FL 알고리즘 설계에 대한 가이드를 제공합니다.

제안 방법

• NbAFL을 클라이언트가 로컬 업데이트를 업로드하기 전에 클리핑하고 가우시안 노이즈를 추가하며, 서버는 전역 모델을 수집 후 방송하기 전에 노이즈를 추가하도록 공식화합니다.
• 적절한 노이즈 규모를 가진 가우시안 메커니즘 하에서 NbAFL이 (ε,δ)-DP를 만족함을 입증합니다.
• 수렴 성능, 프라이버시 수준 ε, 클라이언트 수 N, 그리고 집계 라운드 T 간의 트레이드오프를 보이는 NbAFL의 수렴 경계를 도출합니다.
• 매 집계에 K명의 클라이언트가 참여하는 K-랜덤 스케줄링 스킴으로 분석을 확장하고 해당 DP 보장과 수렴 경계를 도출합니다.
• 업링크 및 다운링크 채널의 노이즈 스케일에 대한 닫힌 형식의 표현과 DP가 유지되는 조건을 제공합니다.

실험 결과

연구 질문

• RQ1 NbAFL에서 노이징 전 집계를 통해 미세도 유용성을 보존하면서 차등 프라이버시를 어떻게 연합학습에 통합할 수 있는가?
• RQ2 DP 하의 NbAFL의 수렴 특성과 프라이버시 수준, 클라이언트 수, 집계 라운드 간의 상호작용은 무엇인가?
• RQ3 전체 클라이언트 집계에 비해 K-랜덤 스케줄링이 DP 보장과 수렴 성능에 어떤 영향을 미치는가?
• RQ4 프라이버시 보호와 수렴 정확도의 균형을 맞추기 위한 최적 설정(예: 집계 라운드, K)은 무엇인가?

주요 결과

• NbAFL은 클라이언트 측과 서버 측의 가우시안 노이즈 분산을 조정하여 (ε,δ)-DP를 만족시킬 수 있습니다.
• 이론적 수렴 경계는 트레이드오프를 보여줍니다: 더 나은 수렴은 더 낮은 프라이버시 보호(더 큰 ε)에 해당합니다.
• 참여 클라이언트 수 N을 늘리면 고정된 프라이버시 수준에서 수렴이 향상됩니다.
• 주어진 프라이버시 수준과 N에 대해 최적의 최대 집계 라운드 수 T가 존재합니다.
• K-랜덤 스케줄링에서도 대응하는 DP 보장과 수렴 경계가 성립하며, 고정된 프라이버시 수준에서 최적의 K가 존재합니다.
• 시뮬레이션은 이론적 경계를 검증하고 제안된 DP 기반 설계와의 일치를 보여줍니다.