[论文解读] Efficient Sparse Secure Aggregation for Federated Learning

Constance Béguier, Mathieu Andreux+1 more|arXiv (Cornell University)|Jul 29, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用 11

一句话总结

本文提出了一种新颖的稀疏安全聚合协议，用于联邦学习，通过结合模型更新压缩与加法秘密共享，实现在保持强隐私保护的同时，通信和计算成本极低。通过将安全聚合简化为轻量级加法运算，并利用top-k稀疏化技术，该方法在显著低于以往安全聚合技术的开销下实现了高模型准确率。

ABSTRACT

Federated Learning enables one to jointly train a machine learning model across distributed clients holding sensitive datasets. In real-world settings, this approach is hindered by expensive communication and privacy concerns. Both of these challenges have already been addressed individually, resulting in competing optimisations. In this article, we tackle them simultaneously for one of the first times. More precisely, we adapt compression-based federated techniques to additive secret sharing, leading to an efficient secure aggregation protocol, with an adaptable security level. We prove its privacy against malicious adversaries and its correctness in the semi-honest setting. Experiments on deep convolutional networks demonstrate that our secure protocol achieves high accuracy with low communication costs. Compared to prior works on secure aggregation, our protocol has a lower communication and computation costs for a similar accuracy.

研究动机与目标

• 解决联邦学习中高通信成本与隐私泄露的双重挑战。
• 将模型更新压缩技术与安全聚合协议相结合，以降低开销而不牺牲准确率。
• 设计一种仅依赖轻量级操作（加法）的安全聚合协议，以实现低计算成本。
• 在半诚实模型下，实现对恶意敌手的可证明隐私保护与正确性。
• 证明所提出方法在通信与计算效率方面优于现有安全聚合技术。

提出的方法

• 该方法使用top-k稀疏化（例如TopBinary编码）压缩模型更新，仅保留最重要的梯度。
• 对压缩后的更新应用加法秘密共享，确保仅聚合结果被泄露。
• 设计了安全联合协议（SecUnion），以高效合并各客户端的稀疏索引，其中可调参数q用于控制误报率。
• 将安全聚合简化为仅加法操作，避免使用同态加密或非对称加密等昂贵密码原语。
• 在半诚实模型下证明协议正确性，并在最多除一个服务器外所有服务器合谋时，对恶意敌手实现可证明隐私。
• 该方法与标准联邦平均（FedAvg）兼容，且在仅需极少密码学专业知识的情况下支持实际部署。

实验结果

研究问题

• RQ1 能否有效结合模型更新压缩与安全聚合，以降低联邦学习中的通信与计算成本？
• RQ2 如何使安全聚合足够高效，以支持实际部署，同时保持隐私？
• RQ3 在联邦学习中使用稀疏秘密共享时，安全级别、通信成本与模型准确率之间的权衡如何？
• RQ4 仅使用轻量级密码操作（如仅加法）能否在联邦学习环境中实现强隐私保障？
• RQ5 与现有安全聚合协议相比，所提出方法在效率与准确率方面表现如何？

主要发现

• 在仅100个训练周期下，该方法在MNIST上达到98%准确率，在CIFAR-10上达到80%准确率，与非安全、未压缩的FedAvg性能相当。
• 使用TopBinary编码且ρ=0.1时，与Bonawitz等人（2017）和Dong等人（2020）相比，通信成本显著降低。
• 计算成本明显低于以往工作，因其仅依赖加法操作，避免了Paillier加密或多项式插值等昂贵操作。
• 当q=1时，SecUnion协议在隐私与通信效率之间实现了最佳权衡，有效减少误报率同时保持高效。
• 在相似准确率水平下，该方法在通信与计算成本方面均优于现有安全聚合技术。
• 协议在恶意敌手下具有可证明隐私性，并在半诚实模型下保持正确性，确保强安全保障。