[论文解读] Enhancing the Privacy of Federated Learning with Sketching

Zaoxing Liu, Tian Li+2 more|arXiv (Cornell University)|Nov 5, 2019

Privacy-Preserving Technologies in Data参考文献 35被引用 23

一句话总结

本文提出使用草图算法（特别是 Count Sketch）来增强联邦学习中的隐私保护，通过在传输前对模型更新进行匿名化处理，同时降低通信成本。通过在传输前对梯度应用草图，该方法在仅造成最小精度损失的情况下实现了强大的隐私保障，并将通信成本降低至原来的十分之一，展示了隐私与效率之间协同优化的可行性。

ABSTRACT

In response to growing concerns about user privacy, federated learning has emerged as a promising tool to train statistical models over networks of devices while keeping data localized. Federated learning methods run training tasks directly on user devices and do not share the raw user data with third parties. However, current methods still share model updates, which may contain private information (e.g., one's weight and height), during the training process. Existing efforts that aim to improve the privacy of federated learning make compromises in one or more of the following key areas: performance (particularly communication cost), accuracy, or privacy. To better optimize these trade-offs, we propose that extit{sketching algorithms} have a unique advantage in that they can provide both privacy and performance benefits while maintaining accuracy. We evaluate the feasibility of sketching-based federated learning with a prototype on three representative learning models. Our initial findings show that it is possible to provide strong privacy guarantees for federated learning without sacrificing performance or accuracy. Our work highlights that there exists a fundamental connection between privacy and communication in distributed settings, and suggests important open problems surrounding the theoretical understanding, methodology, and system design of practical, private federated learning.

研究动机与目标

• 填补当前联邦学习系统在隐私保障方面的关键空白，这些系统因共享模型更新而暴露敏感用户数据。
• 克服现有加密和差分隐私方法所面临的隐私、通信效率与模型精度之间的权衡问题。
• 探索草图作为一种新颖且高效的机制，可同时提升联邦学习中的隐私保护与性能表现。
• 证明将草图技术集成到现有联邦学习框架中的可行性，且仅需极少的架构修改。
• 建立基于草图原语的灵活、私密且通信高效的联邦学习系统设计基础。

提出的方法

• 在客户端设备向中央服务器传输之前，应用 Count Sketch 对模型更新（如梯度）进行压缩与混淆。
• 利用草图的固有特性掩盖数据元素的身份——即使草图被完全重建，也难以将单个元素追溯至特定用户。
• 利用草图数据结构实现高比例压缩（通信成本最高降低至十分之一），同时保持模型精度。
• 设计一种改进的联邦学习流程，其中客户端发送经草图近似后的更新，而非原始梯度，服务器则对这些草图进行聚合以更新全局模型。
• 利用草图的理论特性提供概率性隐私保障，即恢复任意单个更新元素的概率被限制在 1/n 以内，其中 n 为更新向量的维度。
• 探索结合差分隐私技术（如添加拉普拉斯或高斯噪声）以在草图基础上进一步强化隐私保障。

实验结果

研究问题

• RQ1 草图算法能否在不降低模型精度的前提下，有效用于联邦学习中模型更新的隐私化？
• RQ2 在保持隐私的前提下，草图能在多大程度上降低联邦学习中的通信成本？
• RQ3 在联邦学习背景下，典型草图算法（如 Count Sketch）的内在隐私特性是什么？
• RQ4 如何将草图适应于异构设备和工作负载下的不同模型更新分布？
• RQ5 草图能否与可信执行环境（如 Intel SGX）协同设计，以进一步增强联邦学习中的端到端隐私保护？

主要发现

• 草图通过隐藏模型更新中单个数据元素的身份，实现了联邦学习中的强隐私保障，使每个元素被重新识别的概率最多为 1/n。
• 在联邦学习中使用 Count Sketch 可将通信成本相比标准联邦学习降低至十分之一，且对模型精度的影响极小。
• 草图天然地实现了隐私与通信效率的协同优化：同一数据结构既实现了更新的压缩，也掩盖了敏感信息。
• 在线性回归、多层感知机（MLP）和循环神经网络（RNN）模型上的实证评估表明，基于草图的联邦学习保持了与原始 FedAvg 接近的收敛行为，仅造成轻微精度下降。
• 理论分析表明，原始草图由于无法直接映射回原始数据身份，即使在完全重建的情况下，也能提供非平凡的隐私优势。
• 未来工作表明，将草图与差分隐私机制（如噪声注入）结合，可在分布式学习环境中实现更强且形式化界定的隐私保障。