[论文解读] Constrained Differentially Private Federated Learning for Low-bandwidth Devices

Raouf Kerkouche, Gergely Ács+2 more|arXiv (Cornell University)|Feb 27, 2021

Privacy-Preserving Technologies in Data被引用 5

一句话总结

该论文提出了一种名为 FL-TOP-DP 的差分隐私联邦学习方案，该方案仅对模型中的前 K 个权重进行更新，通过有针对性的学习和安全聚合，将通信带宽最高降低 99.9%，同时保持模型准确率。该方法通过客户端级别的差分隐私提供了理论上的隐私保障，并针对低带宽移动设备进行了优化。

ABSTRACT

Federated learning becomes a prominent approach when different entities want to learn collaboratively a common model without sharing their training data. However, Federated learning has two main drawbacks. First, it is quite bandwidth inefficient as it involves a lot of message exchanges between the aggregating server and the participating entities. This bandwidth and corresponding processing costs could be prohibitive if the participating entities are, for example, mobile devices. Furthermore, although federated learning improves privacy by not sharing data, recent attacks have shown that it still leaks information about the training data. This paper presents a novel privacy-preserving federated learning scheme. The proposed scheme provides theoretical privacy guarantees, as it is based on Differential Privacy. Furthermore, it optimizes the model accuracy by constraining the model learning phase on few selected weights. Finally, as shown experimentally, it reduces the upstream and downstream bandwidth by up to 99.9% compared to standard federated learning, making it practical for mobile systems.

研究动机与目标

• 为解决标准联邦学习在低带宽环境下的高通信成本问题，特别是针对移动设备和资源受限设备。
• 通过仅聚焦于一小部分固定模型权重而非全部参数，提升差分隐私下的模型准确率。
• 通过客户端级别的差分隐私提供强有力的理论隐私保障，同时最小化差分隐私联邦学习中常见的噪声导致的准确率下降。
• 通过确保各轮次间传输数据量一致且最小，实现与安全聚合协议的高效集成。
• 降低上行和下行通信开销，使联邦学习在真实世界移动和边缘部署中更具可行性。

提出的方法

• 该方法在每轮训练中选择一组固定的前 K 个模型权重（基于大小或梯度贡献）进行更新，其余所有权重保持不变。
• 仅将这些前 K 个权重的更新结果从客户端上传至服务器，从而大幅减少通信量。
• 服务器基于客户端数据规模，使用加权平均法对这些选择性更新进行聚合，以维持模型收敛性。
• 通过仅向这些前 K 个权重更新添加经过校准的噪声来实现差分隐私，从而最小化噪声对模型准确率的影响。
• 该方案与安全聚合无缝集成，相比本地差分隐私方法，显著降低了所需的噪声预算。
• 该方法利用前几项权重的稀疏性和稳定性，在通信量减少的情况下仍能保持模型性能。

实验结果

研究问题

• RQ1 仅将模型更新限制在前 K 个权重，是否能显著降低联邦学习中的通信带宽，同时不降低模型准确率？
• RQ2 与对所有参数添加噪声相比，仅对最重要的权重更新添加差分隐私噪声，能否显著提升模型准确率？
• RQ3 选择性权重更新与安全聚合在多大程度上可有效结合，以降低隐私开销？
• RQ4 该方法在真实世界数据集上的带宽节省程度和隐私-准确率权衡表现如何？
• RQ5 该方法是否可在低带宽移动和边缘设备上实际部署，同时保持强隐私保障？

主要发现

• 所提出的 FL-TOP-DP 方案相比标准联邦学习，将上行和下行通信带宽最高降低了 99.9%。
• 通过仅更新前 K 个权重，该方法在引入差分隐私噪声的情况下仍能保持高模型准确率。
• 与安全聚合的集成使得其所需噪声预算低于本地差分隐私方法，从而提供更强的隐私保障。
• 在 Fashion-MNIST 数据集和包含 120 万名美国住院患者的真实医疗数据集上的实验，证实了该方法在带宽减少和隐私保护方面的有效性。
• 该方法在低带宽环境中尤为有效，适用于通信和电源资源受限的移动和边缘设备。
• 与以往基于压缩的 DP-FL 方法相比，该方法在可扩展性和通信效率方面表现更优，尤其在下行流量也经过压缩时优势更加明显。