[论文解读] Efficient Federated Learning over Multiple Access Channel with Differential Privacy Constraints

Amir Sonee, Stefano Rini|arXiv (Cornell University)|May 15, 2020

Privacy-Preserving Technologies in Data被引用 11

一句话总结

该论文提出了一种在多址接入信道（MAC）上运行的新型联邦学习框架，通过结合量化随机梯度下降与数字人工噪声注入，联合优化通信效率与差分隐私。关键贡献在于对量化级别和噪声参数进行解析优化，以在容量和隐私约束下最大化收敛速度，证明了较低的传输速率可在保持隐私的前提下实现更快的收敛速度。

ABSTRACT

In this paper, the problem of federated learning (FL) through digital communication between clients and a parameter server (PS) over a multiple access channel (MAC), also subject to differential privacy (DP) constraints, is studied. More precisely, we consider the setting in which clients in a centralized network are prompted to train a machine learning model using their local datasets. The information exchange between the clients and the PS takes places over a MAC channel and must also preserve the DP of the local datasets. Accordingly, the objective of the clients is to minimize the training loss subject to (i) rate constraints for reliable communication over the MAC and (ii) DP constraint over the local datasets. For this optimization scenario, we proposed a novel consensus scheme in which digital distributed stochastic gradient descent (D-DSGD) is performed by each client. To preserve DP, a digital artificial noise is also added by the users to the locally quantized gradients. The performance of the scheme is evaluated in terms of the convergence rate and DP level for a given MAC capacity. The performance is optimized over the choice of the quantization levels and the artificial noise parameters. Numerical evaluations are presented to validate the performance of the proposed scheme.

研究动机与目标

• 为解决在信道容量有限的无线网络中实现高效且私有的联邦学习的挑战。
• 将差分隐私约束整合进多址接入信道（MAC）通信模型中的联邦学习。
• 在分布式学习中优化收敛速度、通信效率与隐私保护之间的权衡。
• 开发一种数字通信方案，在保持高模型准确率的同时保护本地数据隐私。
• 推导在容量和隐私约束下最优量化与噪声参数的解析条件。

提出的方法

• 客户端在本地数据集上执行分布式随机梯度下降（D-DSGD），并使用多级量化对梯度进行量化。
• 通过二项分布机制建模的数字人工噪声被添加到量化后的梯度上，以确保本地差分隐私（LDP）。
• 将系统建模为一个带约束的整数非线性规划（INLP）问题，以在MAC容量和LDP约束下最大化收敛速度。
• 通过平衡量化级别与噪声参数，实现给定隐私预算下尽可能高的收敛速度。
• 利用先进的集中不等式与二项分布机制的LDP分析，推导出隐私损失的理论边界。
• 通过数值评估验证该方案，采用合成数据进行岭回归实验，参数包括不同信噪比（SNR）、隐私阈值与信道条件。

实验结果

研究问题

• RQ1 如何在多址接入信道上实现既通信高效又具备差分隐私的联邦学习？
• RQ2 在容量与隐私约束下，量化级别与人工噪声参数的最优权衡是什么，以最大化收敛速度？
• RQ3 信噪比（SNR）如何影响该框架中的收敛速度与可实现的隐私水平？
• RQ4 该方案能否在保持本地差分隐私的前提下，实现比现有方法更快的收敛速度？
• RQ5 在信道容量受限的情况下，哪些解析条件可确保系统达到期望的本地差分隐私水平？

主要发现

• 所提出的BinLDP-QSGD方案通过在容量与隐私约束下优化量化与噪声参数，实现了更快的收敛速度。
• 在固定隐私预算（Δε = 4，δ = 10⁻²）下，提高SNR可同时提升收敛速度与可实现的隐私水平。
• 更高的SNR允许更低的噪声与更高的量化级别，从而带来更快的收敛速度与更优的模型准确率。
• 最优策略是使用在满足LDP约束下允许的最高量化级别与最低噪声水平，即εᵗ = Δε。
• 随着SNR提升，收敛速度显著改善，训练损失在迭代过程中下降更迅速。
• 在相同信道容量下，与非私有基线相比，该方案使收敛速度提升了20%。