[논문 리뷰] Federated Learning with Local Differential Privacy: Trade-offs between Privacy, Utility, and Communication

Muah Kim, Onur Günlü외 1명|arXiv (Cornell University)|2021. 02. 09.

Privacy-Preserving Technologies in Data참고 문헌 19인용 수 4

한 줄 요약

이 논문은 가우시안 노이즈를 사용하여 국소적 차별적 프라이버시(LDP)를 갖는 분산 학습 프레임워크를 제안한다. 이는 프라이버시, 유틸리티, 통신 효율성 간의 균형을 맞추는 데 목적이 있다. 개선된 모멘츠 애카운턴트를 활용하여 더 엄밀한 프라이버시 회계를 수행하고, 쿼리 민감도를 변수로 모델링함으로써 이전 방법들에 비해 특히 강력한 프라이버시 제약 하에서 유의미하게 향상된 유틸리티와 감소된 전송률을 달성한다.

ABSTRACT

Federated learning (FL) allows to train a massive amount of data privately due to its decentralized structure. Stochastic gradient descent (SGD) is commonly used for FL due to its good empirical performance, but sensitive user information can still be inferred from weight updates shared during FL iterations. We consider Gaussian mechanisms to preserve local differential privacy (LDP) of user data in the FL model with SGD. The trade-offs between user privacy, global utility, and transmission rate are proved by defining appropriate metrics for FL with LDP. Compared to existing results, the query sensitivity used in LDP is defined as a variable and a tighter privacy accounting method is applied. The proposed utility bound allows heterogeneous parameters over all users. Our bounds characterize how much utility decreases and transmission rate increases if a stronger privacy regime is targeted. Furthermore, given a target privacy level, our results guarantee a significantly larger utility and a smaller transmission rate as compared to existing privacy accounting methods.

연구 동기 및 목표

• 국소적 차별적 프라이버시(LDP) 하에서 분산 학습에서의 프라이버시, 유틸리티, 통신 비용 간의 상충 관계를 해결하기 위해.
• 레니-DP에서 DP로의 최적 변환을 활용하여 모멘츠 애카운턴트를 개선함으로써 분산 학습에서의 확률적 경사 하강법(SGD)에 대해 더 엄밀한 프라이버시 회계 방법을 개발하기 위해.
• 데이터셋 크기, 샘플링 확률, 개인의 프라이버시 목표와 같은 이질적인 사용자 파라미터를 고려한 일반적인 유틸리티 메트릭을 도입하기 위해.
• 손실 없는 통신 하에서 노이즈가 섞인 기울기의 차별 엔트로피를 모델링하여 전송률을 최소화하기 위해.
• 제안된 방법이 동일한 프라이버시 예산 하에서 기존의 LDP-FL 기법들보다 유틸리티와 통신 효율성 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 분산 SGD에서 국소적 차별적 프라이버시(LDP)를 확보하기 위해 국소 기울기에 가우시안 랜덤화를 적용한다.
• 최적의 레니-DP에서 DP로의 변환을 활용한 개선된 모멘츠 애카운턴트(MA)를 사용하여 더 엄밀한 프라이버시 회계를 수행하고, 프라이버시 손실의 과대평가를 감소시킨다.
• 쿼리 민감도를 사용자 간에 변수로 설정하여 데이터 샘플링 및 프라이버시 요구 사항의 이질적 모델링을 가능하게 한다.
• 사용자별 데이터셋 크기, 샘플링 확률, 프라이버시 수준을 고려한 유틸리티의 하한을 유도한다.
• 전송률을 노이즈가 섞인 기울기의 차별 엔트로피로 모델링하고, 공분산 행렬의 행렬식과 가우시안 엔트로피 성질을 사용하여 이를 경계한다.
• 하다마드 부등식과 산술-기하 평균 부등식을 활용하여 기울기 공분산 행렬의 행렬식을 경계함으로써, 해석 가능한 엔트로피 분석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사용자 간에 변동하는 쿼리 민감도는 LDP-FL에서 유틸리티-프라이버시-통신 균형에 어떤 영향을 미치는가?
• RQ2 개선된 모멘츠 애카운턴트를 통한 더 엄밀한 프라이버시 회계는 LDP-FL에서 유틸리티 향상과 통신 비용 감소에 기여하는가?
• RQ3 사용자들이 이질적인 데이터 크기, 샘플링 확률, 프라이버시 목표를 가질 경우 모델 유틸리티의 이론적 하한은 무엇인가?
• RQ4 LDP-FL에서 노이즈 분산과 모델 차원에 따라 노이즈가 섞인 기울기의 차별 엔트로피는 어떻게 척도가 되는가?
• RQ5 기존의 LDP-FL 기반 기법들과 비교했을 때, 제안된 방법은 필요한 노이즈 전력과 전송률을 얼마나 줄이는가?

주요 결과

• 강력한 프라이버시 제약 하에서도 기존의 프라이버시 회계 방법에 비해 유의미하게 더 큰 유틸리티 하한을 달성한다.
• 개선된 공분산 행렬 및 노이즈 엔트로피 모델링 덕분에 노이즈가 섞인 기울기의 차별 엔트로피에 대한 더 엄밀한 경계로 인해 전송률이 감소한다.
• 수렴 속도의 하한이 $ \mathcal{O}(1/t) $ 스케일을 가지며, $ \max\{2, 1 + d\sigma^2\} $에 따라 결정되는 상수 인자로 보장되며, 이는 이전의 경계를 향상시킨다.
• 이질적인 사용자에 대해서는 유틸리티 하한이 개별 데이터셋 크기, 샘플링 확률, 프라이버시 수준을 명시적으로 포함하여 현실적인 시스템 모델링을 가능하게 한다.
• 최적의 변환을 활용한 개선된 모멘츠 애카운턴트는 프라이버시 손실의 과대평가를 감소시켜 동일한 프라이버시 예산 하에서 더 높은 유틸리티를 가능하게 한다.
• 수치적 비교 결과, 필요한 노이즈 전력, 유틸리티, 전송률 측면에서 성과 향상을 입증하였으며, 이는 SC, AC1, AC2 기반 접근 방식에 비해 본 방법의 열등함이 없음을 보여준다.