[论文解读] Federated Stochastic Primal-dual Learning with Differential Privacy

Yiwei Li, Shuai Wang+2 more|arXiv (Cornell University)|Apr 26, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

该论文提出FedSPD-DP，一种新型的联邦随机对偶学习算法，结合差分隐私机制，通过引入局部随机梯度下降和部分客户端参与，提升通信效率并缓解慢速客户端问题。理论分析表明，增加局部步数可提高效率，但会增加隐私泄露风险，经过$T$轮后实现$(\mathcal{O}(q\epsilon\sqrt{pT}), \delta)$-差分隐私，且在凸非光滑问题下收敛速率为$\mathcal{O}(1/\sqrt{pTQ})$。

ABSTRACT

Federated learning (FL) is a new paradigm that enables many clients to jointly train a machine learning (ML) model under the orchestration of a parameter server while keeping the local data not being exposed to any third party. However, the training of FL is an interactive process between local clients and the parameter server. Such process would cause privacy leakage since adversaries may retrieve sensitive information by analyzing the overheard messages. In this paper, we propose a new federated stochastic primal-dual algorithm with differential privacy (FedSPD-DP). Compared to the existing methods, the proposed FedSPD-DP incorporates local stochastic gradient descent (local SGD) and partial client participation (PCP) for addressing the issues of communication efficiency and straggler effects due to randomly accessed clients. Our analysis shows that the data sampling strategy and PCP can enhance the data privacy whereas the larger number of local SGD steps could increase privacy leakage, revealing a non-trivial tradeoff between algorithm communication efficiency and privacy protection. Specifically, we show that, by guaranteeing $(ε, δ)$-DP for each client per communication round, the proposed algorithm guarantees $(\mathcal{O}(qε\sqrt{p T}), δ)$-DP after $T$ communication rounds while maintaining an $\mathcal{O}(1/\sqrt{pTQ})$ convergence rate for a convex and non-smooth learning problem, where $Q$ is the number of local SGD steps, $p$ is the client sampling probability, $q=\max_{i} q_i/\sqrt{1-q_i}$ and $q_i$ is the data sampling probability of each client under PCP. Experiment results are presented to evaluate the practical performance of the proposed algorithm and comparison with state-of-the-art methods.

研究动机与目标

• 通过引入局部随机梯度下降和部分客户端参与，解决联邦学习中的通信低效与慢速客户端问题。
• 在模型更新通过参数服务器与客户端交互的训练过程中，为联邦学习提供正式的差分隐私保障。
• 理论分析联邦设置下通信效率（通过局部步数与客户端采样）与隐私泄露之间的权衡。
• 构建一种随机对偶优化框架，在保证收敛性的同时确保每轮通信均满足$(\epsilon,\delta)$-差分隐私，并控制累计隐私预算。
• 通过实验验证所提方法的实际性能，并与最先进方法进行对比。

提出的方法

• 提出一种联邦随机对偶优化算法（FedSPD-DP），每轮使用$Q$步局部SGD以减少通信频率。
• 通过每轮以概率$p_i$随机采样客户端，实现部分客户端参与（PCP），降低通信开销并缓解慢速客户端影响。
• 提出一种基于差分隐私的噪声注入机制，其中噪声尺度由隐私预算$(\epsilon, \delta)$与局部步数$Q$共同决定。
• 采用对偶优化框架，通过对偶变量联合最小化全局目标函数，并在客户端间强制执行一致性约束。
• 推导出隐私放大边界，表明经过$T$轮后累计隐私损失为$\mathcal{O}(q\epsilon\sqrt{pT})$，其中$q = \max_i q_i / \sqrt{1 - q_i}$。
• 在标准梯度与对偶变量假设下，证明了凸非光滑问题下收敛速率为$\mathcal{O}(1/\sqrt{pTQ})$。

实验结果

研究问题

• RQ1 局部SGD步数$Q$如何影响联邦学习中通信效率与隐私泄露之间的权衡？
• RQ2 部分客户端参与（PCP）是否能在不显著降低模型收敛性或隐私保障的前提下提升通信效率？
• RQ3 采用局部更新与客户端采样的联邦对偶优化算法的累计差分隐私预算为何？
• RQ4 所提出的FedSPD-DP方法如何在确保每轮通信满足$(\epsilon, \delta)$-差分隐私的同时维持收敛性？
• RQ5 在凸非光滑目标函数下，结合局部随机更新与部分客户端参与的所提算法的理论收敛速率是多少？

主要发现

• 所提FedSPD-DP算法在标准假设下，对凸非光滑优化问题实现了$\mathcal{O}(1/\sqrt{pTQ})$的收敛速率。
• 经过$T$轮通信后，累计隐私损失被限制在$(\mathcal{O}(q\epsilon\sqrt{pT}), \delta)$，其中$q = \max_i q_i / \sqrt{1 - q_i}$，表明效率与隐私之间存在非平凡的权衡。
• 增加局部SGD步数$Q$可提升通信效率，但会增加隐私泄露，揭示了设计中的根本性权衡。
• 为实现每轮$(\epsilon, \delta)$-DP所需的噪声尺度与$\frac{1}{(Q-1)\epsilon}$成正比，表明随着$Q$增大，隐私增益呈递减趋势。
• 收敛界依赖于客户端采样概率$p_i$，$p_i$越高，收敛速度越快，隐私损失越低。
• 理论分析证实，在梯度与对偶变量范数满足弱假设下，结合局部更新与PCP的对偶优化框架可保持有界对偶间隙与收敛性。