[논문 리뷰] Performance Analysis on Federated Learning with Differential Privacy

Kang Wei, Jun Li외 7명|arXiv (Cornell University)|2019. 11. 01.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 클라이언트 모델 파라미터에 인위적 노이즈를 추가하여 집계 전에 차별적 프라이버시를 보장하는 방식으로 프라이버시를 향상시키는 피어드 페더레이티드 러닝 프레임워크인 NbAFL을 제안한다. 이는 차별적 프라이버시를 보장하는 이론적 수렴 한계를 수립하여 프라이버시와 성능 사이의 상충 관계, 최적의 클라이언트 참여 수준, 최적의 통신 라운드 수를 규명하며 시뮬레이션을 통해 검증된다.

ABSTRACT

In this paper, to effectively prevent information leakage, we propose a novel framework based on the concept of differential privacy (DP), in which artificial noises are added to the parameters at the clients side before aggregating, namely, noising before model aggregation FL (NbAFL). First, we prove that the NbAFL can satisfy DP under distinct protection levels by properly adapting different variances of artificial noises. Then we develop a theoretical convergence bound of the loss function of the trained FL model in the NbAFL. Specifically, the theoretical bound reveals the following three key properties: 1) There is a tradeoff between the convergence performance and privacy protection levels, i.e., a better convergence performance leads to a lower protection level; 2) Given a fixed privacy protection level, increasing the number $N$ of overall clients participating in FL can improve the convergence performance; 3) There is an optimal number of maximum aggregation times (communication rounds) in terms of convergence performance for a given protection level. Furthermore, we propose a $K$-random scheduling strategy, where $K$ ($1<K<N$) clients are randomly selected from the $N$ overall clients to participate in each aggregation. We also develop the corresponding convergence bound of the loss function in this case and the $K$-random scheduling strategy can also retain the above three properties. Moreover, we find that there is an optimal $K$ that achieves the best convergence performance at a fixed privacy level. Evaluations demonstrate that our theoretical results are consistent with simulations, thereby facilitating the designs on various privacy-preserving FL algorithms with different tradeoff requirements on convergence performance and privacy levels.

연구 동기 및 목표

• 페더레이티드 러닝에서의 정보 泄露 문제를 해결하기 위해 공식적인 차별적 프라이버시 보장을 갖춘 프라이버시 보존 프레임워크를 도입하기 위해.
• 페더레이티드 러닝에서 모델 수렴 성능과 프라이버시 보호 수준 사이의 상충 관계를 분석하기 위해.
• 고정된 프라이버시 제약 조건 하에서 수렴을 최대화하기 위한 클라이언트 참여 및 통신 라운드 설정의 최적 구성 식별하기 위해.
• 프라이버시와 수렴 성질을 유지하면서 실용적 구현 유연성을 향상시키는 K-랜덤 스케줄링 전략을 개발하고 분석하기 위해.

제안 방법

• 클라이언트 측에서 집계 전에 모델 파라미터에 인위적 노이즈를 추가하여 차별적 프라이버시를 보장하는 새로운 FL 프레임워크인 NbAFL을 제안한다.
• NbAFL 하에서 손실 함수의 이론적 수렴 한계를 유도하여 프라이버시와 수렴 성능 사이의 상충 관계를 보여준다.
• K-랜덤 스케줄링 전략을 도입하여 총 N명의 클라이언트 중 매 통신 라운드마다 K명을 무작위로 선택함으로써 확장성과 프라이버시를 향상시킨다.
• K-랜덤 스케줄링 변형에 대한 이론적 수렴 한계를 수립하여, 이가 전체 클라이언트 NbAFL와 동일한 핵심 성질을 유지함을 보여준다.
• 인위적 노이즈의 분산 조정을 통해 다양한 수준의 차별적 프라이버시를 달성하며, DP 보장을 통해 수식화한다.
• N(총 클라이언트 수), K(선택된 클라이언트 수), 통신 라운드 수가 수렴 및 프라이버시에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 모델 수렴 성능을 훼손시키지 않고 페더레이티드 러닝에 차별적 프라이버시를 효과적으로 통합할 수 있는가?
• RQ2 차별적 프라이버시가 적용된 페더레이티드 러닝에서 프라이버시 보호 수준과 수렴 성능 사이의 상충 관계는 어떠한가?
• RQ3 고정된 프라이버시 예산 하에서 참가 클라이언트 수(N)가 수렴 성능에 미치는 영향은 무엇인가?
• RQ4 주어진 프라이버시 수준에서 수렴 성능을 최대화하는 최적의 통신 라운드 수가 존재하는가?
• RQ5 고정된 프라이버시 수준에서 최고의 수렴 성능을 달성하는 데 최적의 K 값은 무엇인가?

주요 결과

• NbAFL은 클라이언트 측에서 추가되는 인위적 노이즈의 분산을 정밀하게 캘리브레이션함으로써 차별적 프라이버시를 충족한다.
• 수렴 성능와 프라이버시 보호 수준 사이에 상충 관계가 존재한다: 높은 프라이버시 수준은 수렴 성능을 떨어뜨리고, 반대로 낮은 프라이버시 수준은 성능 향상을 가져온다.
• 고정된 프라이버시 수준에서 총 클라이언트 수(N)를 늘일수록 수렴 성능이 향상된다.
• 주어진 프라이버시 수준에서 수렴 성능을 최대화하는 최적의 통신 라운드 수가 존재한다.
• K-랜덤 스케줄링 전략은 NbAFL의 세 가지 핵심 성질을 유지하며, 고정된 프라이버시 수준에서 최고의 수렴 성능을 달성하는 최적의 K를 식별한다.
• 시뮬레이션 결과는 이론적 수렴 한계가 실증적 성능과 매우 밀접하게 일치함을 확인하여 이론적 분석의 타당성을 검증한다.