[논문 리뷰] Federated Stochastic Primal-dual Learning with Differential Privacy

Yiwei Li, Shuai Wang외 2명|arXiv (Cornell University)|2022. 04. 26.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 통신 효율성을 향상시키고 느린 클라이언트 문제를 완화하기 위해 국소적 스토하스틱 경사 하강법과 부분 클라이언트 참여를 통합한 차별적 프라이버시를 갖춘 새로운 분산 스토하스틱 원시-이중 학습 알고리즘인 FedSPD-DP를 제안한다. 이는 $T$라운드 후 $(\mathcal{O}(q\epsilon\sqrt{pT}), \delta)$-차별적 프라이버시를 달성하며, 볼록이고 미분 가능하지 않은 문제에 대해 $\mathcal{O}(1/\sqrt{pTQ})$ 수렴 속도를 보이며, 통신 효율성과 프라이버시 泄漏 사이의 이론적 트레이드오프를 수립한다.

ABSTRACT

Federated learning (FL) is a new paradigm that enables many clients to jointly train a machine learning (ML) model under the orchestration of a parameter server while keeping the local data not being exposed to any third party. However, the training of FL is an interactive process between local clients and the parameter server. Such process would cause privacy leakage since adversaries may retrieve sensitive information by analyzing the overheard messages. In this paper, we propose a new federated stochastic primal-dual algorithm with differential privacy (FedSPD-DP). Compared to the existing methods, the proposed FedSPD-DP incorporates local stochastic gradient descent (local SGD) and partial client participation (PCP) for addressing the issues of communication efficiency and straggler effects due to randomly accessed clients. Our analysis shows that the data sampling strategy and PCP can enhance the data privacy whereas the larger number of local SGD steps could increase privacy leakage, revealing a non-trivial tradeoff between algorithm communication efficiency and privacy protection. Specifically, we show that, by guaranteeing $(ε, δ)$-DP for each client per communication round, the proposed algorithm guarantees $(\mathcal{O}(qε\sqrt{p T}), δ)$-DP after $T$ communication rounds while maintaining an $\mathcal{O}(1/\sqrt{pTQ})$ convergence rate for a convex and non-smooth learning problem, where $Q$ is the number of local SGD steps, $p$ is the client sampling probability, $q=\max_{i} q_i/\sqrt{1-q_i}$ and $q_i$ is the data sampling probability of each client under PCP. Experiment results are presented to evaluate the practical performance of the proposed algorithm and comparison with state-of-the-art methods.

연구 동기 및 목표

• 국소적 스토하스틱 경사 하강법과 부분 클라이언트 참여를 통합하여 분산 학습에서의 통신 비효율성과 느린 클라이언트 문제를 해결하기 위해.
• 모델 업데이트가 파rameter 서버에 공유되는 상호작용적 학습 과정에서 분산 학습 환경에서 공식적인 차별적 프라이버시 보장을 제공하기 위해.
• 분산 환경에서 통신 효율성(국소 단계와 클라이언트 샘플링을 통한)과 프라이버시 泄漏 사이의 이론적 트레이드오프를 분석하기 위해.
• 모든 라운드에서 $(\epsilon,\delta)$-차별적 프라이버시를 보장하면서도 수렴성을 유지하는 스토하스틱 원시-이중 프레임워크를 개발하기 위해.
• 실험과 최신 기법들과의 비교를 통해 제안된 방법의 실용적 성능을 검증하기 위해.

제안 방법

• 통신 빈도를 줄이기 위해 라운드당 $Q$단계의 국소 SGD를 사용하는 분산 스토하스틱 원시-이중 알고리즘(FedSPD-DP)을 제안한다.
• 라운드당 확률 $p_i$로 클라이언트를 무작위로 샘플링하여 부분 클라이언트 참여(PCP)를 구현함으로써 통신 오버헤드를 줄이고 느린 클라이언트 문제를 완화한다.
• 차별적 프라이버시 기반의 노이즈 주입 메커니즘을 도입하며, 노이즈 스케일은 프라이버시 예산 $(\epsilon, \delta)$와 국소 단계 수 $Q$에 따라 유도된다.
• 이중 변수를 통해 클라이언트 간의 일致성 제약 조건을 강제하면서도 글로벌 목적함수를 동시에 최소화하는 원시-이중 최적화 프레임워크를 사용한다.
• 누적 프라이버시 손실이 $T$라운드 후 $\mathcal{O}(q\epsilon\sqrt{pT})$로 스케일링됨을 보여주는 프라이버시 강화 경계를 유도하며, 여기서 $q = \max_i q_i / \sqrt{1 - q_i}$이다.
• 표준 기울기 및 이중 변수에 대한 가정 하에 볼록이고 비미분 가능한 문제에 대해 $\mathcal{O}(1/\sqrt{pTQ})$ 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 국소 SGD 단계 수 $Q$가 분산 학습에서 통신 효율성과 프라이버시 泄漏 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ2 부분 클라이언트 참여(PCP)가 모델 수렴 또는 프라이버시 보장에 크게 영향을 주지 않고 통신 효율성을 향상시킬 수 있는가?
• RQ3 국소 업데이트와 클라이언트 샘플링을 사용하는 분산 원시-이중 알고리즘의 누적 차별적 프라이버시 예산은 무엇인가?
• RQ4 제안된 FedSPD-DP 방법은 통신 라운드당 $(\epsilon, \delta)$-차별적 프라이버시를 보장하면서도 수렴성을 유지하는 방식은 무엇인가?
• RQ5 국소 스토하스틱 업데이트와 부분 클라이언트 참여를 고려할 때 볼록이고 비미분 가능한 목표 함수 하에서 제안된 알고리즘의 이론적 수렴 속도는 무엇인가?

주요 결과

• 제안된 FedSPD-DP 알고리즘은 표준 가정 하에 볼록이고 비미분 가능한 최적화 문제에 대해 $\mathcal{O}(1/\sqrt{pTQ})$ 수렴 속도를 달성한다.
• 통신 라운드 $T$ 후 누적 프라이버시 손실은 $(\mathcal{O}(q\epsilon\sqrt{pT}), \delta)$로 유계이며, 여기서 $q = \max_i q_i / \sqrt{1 - q_i}$이므로 효율성과 프라이버시 사이의 비트리비얼한 트레이드오프를 보여준다.
• 국소 SGD 단계 수 $Q$를 늘일수록 통신 효율성이 향상되지만 프라이버시 泄漏가 증가하므로 설계에 있어 근본적인 트레이드오프를 드러낸다.
• 라운드당 $(\epsilon, \delta)$-DP를 달성하기 위해 필요한 노이즈 스케일은 $\frac{1}{(Q-1)\epsilon}$에 비례하며, 이는 $Q$가 증가함에 따라 프라이버시 향상의 수익 감소를 나타낸다.
• 수렴 경계는 클라이언트 샘플링 확률 $p_i$에 의존하며, $p_i$가 클수록 수렴 속도 향상과 프라이버시 손실 감소에 기여한다.
• 이론적 분석을 통해 국소 업데이트와 PCP를 포함한 원시-이중 프레임워크가 기울기 및 이중 변수 노름에 대한 온건한 가정 하에 유계인 이중성 갭과 수렴성을 유지함을 확인한다.