[论文解读] Wireless Federated Learning with Local Differential Privacy

Mohamed Seif, Ravi Tandon+1 more|arXiv (Cornell University)|Feb 12, 2020

Privacy-Preserving Technologies in Data参考文献 36被引用 25

一句话总结

该论文提出了一种在瑞利衰落高斯多址接入信道（MAC）上运行的无线联邦学习框架，将本地差分隐私（LDP）与模拟梯度聚合相结合。通过利用无线信道的叠加特性，该方案实现了用户级隐私泄露按 $\mathcal{O}(1/\sqrt{K})$ 缩放——显著优于正交传输方式，同时在用户数和功率增加时仍能保持收敛至集中式训练性能。

ABSTRACT

In this paper, we study the problem of federated learning (FL) over a wireless channel, modeled by a Gaussian multiple access channel (MAC), subject to local differential privacy (LDP) constraints. We show that the superposition nature of the wireless channel provides a dual benefit of bandwidth efficient gradient aggregation, in conjunction with strong LDP guarantees for the users. We propose a private wireless gradient aggregation scheme, which shows that when aggregating gradients from $K$ users, the privacy leakage per user scales as $\mathcal{O}\big(\frac{1}{\sqrt{K}} \big)$ compared to orthogonal transmission in which the privacy leakage scales as a constant. We also present analysis for the convergence rate of the proposed private FL aggregation algorithm and study the tradeoffs between wireless resources, convergence, and privacy.

研究动机与目标

• 为在不牺牲训练效率的前提下实现强隐私保障提供解决方案。
• 探究无线信道的物理层特性是否能够同时实现频谱高效的梯度聚合与增强的本地差分隐私（LDP）保护。
• 分析在私有无线联邦学习系统中，无线资源分配（功率、用户数）、收敛速率与隐私泄露之间的权衡关系。
• 设计一种新型模拟聚合方案，联合优化梯度对齐与人工噪声注入以满足LDP合规性要求。

提出的方法

• 将无线联邦学习系统建模为具有 $K$ 个单天线用户的平坦衰落高斯多址接入信道（MAC），并配备一个中心化参数服务器（PS）。
• 每个用户将其本地计算的梯度与人工添加的高斯噪声进行线性组合，并按信道增益进行缩放，以实现在PS端的相干聚合。
• 对每个用户施加功率约束，并假设PS端具备完美的信道状态信息，而用户仅知晓自身的信道系数。
• 引入一种隐私机制，通过调节人工噪声参数，使每个用户满足 $\epsilon$-本地差分隐私（LDP）约束。
• 在PS端推导出具有有界二阶矩的无偏梯度估计器，从而可基于标准随机梯度下降（SGD）理论进行收敛性分析。
• 采用针对光滑凸损失函数的收敛性分析框架，建立期望训练误差相对于最优集中式解的上界。

实验结果

研究问题

• RQ1 能否利用无线信道的叠加特性，同时提升频谱效率并增强联邦学习中的本地差分隐私？
• RQ2 在非正交无线联邦学习方案中，用户级隐私泄露如何随用户数 $K$ 变化，相较于正交传输有何差异？
• RQ3 无线资源分配（发射功率、用户数）与私有联邦学习训练过程的收敛速率之间存在何种权衡？
• RQ4 所提出的模拟聚合方案与正交传输相比，在隐私性、准确性和频谱效率方面表现如何？
• RQ5 在光滑凸损失函数下，所提出的私有无线联邦学习算法的收敛行为如何？

主要发现

• 在所提出的非正交模拟聚合方案中，用户级隐私泄露按 $\mathcal{O}(1/\sqrt{K})$ 缩放，显著优于正交传输中隐私泄露保持恒定的情况。
• 随着用户数 $K$ 增加，训练损失衰减更快，并收敛至所有数据集中存储于PS端的集中式训练性能。
• 更高的发射功率可使训练损失在迭代过程中更快衰减，表明信噪比提升可改善收敛性能。
• 仿真结果（$T=1000$ 次迭代）表明，所提出的非正交模拟方案在频谱效率与收敛精度方面均优于正交传输。
• 该算法的收敛速率满足上界 $\mathds{E}[F(\mathbf{w}_T)] - F(\mathbf{w}^*) \leq \frac{2\mu G^2}{\lambda^2 T}$，其中 $G^2$ 取决于梯度范数、噪声方差与功率分配。
• 所提方案在隐私性、收敛性与资源利用之间实现了良好平衡，随着训练推进，本地扰动与信道噪声的方差逐渐成为主导因素。