[论文解读] Efficient Differentially Private Secure Aggregation for Federated Learning via Hardness of Learning with Errors

Timothy S. Stevens, Christian Skalka+4 more|arXiv (Cornell University)|Dec 13, 2021

Privacy-Preserving Technologies in Data被引用 12

一句话总结

该论文提出FLDP，一种新颖的联邦学习差分隐私安全聚合协议，利用学习错误问题（LWE）实现高效率与强隐私保障。通过结合计算差分隐私与恶意安全聚合，FLDP将通信扩展率降低至1.7倍（相较之前工作2倍），并将服务器计算时间缩短至数秒，从而在MNIST上实现接近中心化模型性能的可扩展、高精度训练（ε ≤ 2时准确率达95%），在CIFAR-10上实现70%准确率（ε ≤ 4）。

ABSTRACT

Federated machine learning leverages edge computing to develop models from network user data, but privacy in federated learning remains a major challenge. Techniques using differential privacy have been proposed to address this, but bring their own challenges -- many require a trusted third party or else add too much noise to produce useful models. Recent advances in \emph{secure aggregation} using multiparty computation eliminate the need for a third party, but are computationally expensive especially at scale. We present a new federated learning protocol that leverages a novel differentially private, malicious secure aggregation protocol based on techniques from Learning With Errors. Our protocol outperforms current state-of-the art techniques, and empirical results show that it scales to a large number of parties, with optimal accuracy for any differentially private federated learning scheme.

研究动机与目标

• 解决现有依赖可信第三方或面临高通信与计算开销的差分隐私联邦学习协议在可扩展性与效率方面的局限。
• 设计一种恶意安全的聚合协议，确保差分隐私，无需可信服务器或过度噪声。
• 在保持大规模实际性能的同时，实现与差分隐私中心化模型相当的模型准确率。
• 利用学习错误（LWE）问题的困难性，以极低计算成本同时实现差分隐私与安全聚合。
• 证明所提协议可高效扩展至大量客户端，适用于真实世界联邦学习系统的实际部署。

提出的方法

• 基于学习错误（LWE）问题设计新型安全聚合协议，其中用于差分隐私的噪声亦作为LWE中的误差项，实现双重安全目的。
• 集成分布式离散高斯机制以实现计算差分隐私，确保在恶意客户端与服务器行为下仍具备隐私保障。
• 采用梯度裁剪以限制模型更新的敏感度，从而在保持模型效用的同时实现有效噪声添加。
• 通过优化通信与计算，将客户端与服务器通信的扩展因子从2倍降低至1.7倍（针对500个长度为20,000的向量）。
• 实现一种安全多方计算框架，避免依赖可信第三方，并随客户端数量高效扩展。
• 利用LWE的代数结构，实现客户端梯度的高效、可验证聚合，同时不暴露个体更新信息。

实验结果

研究问题

• RQ1 能否设计一种差分隐私安全聚合协议，消除对可信第三方的依赖，同时保持低通信与计算开销？
• RQ2 如何利用学习错误（LWE）问题的困难性，在联邦学习中同时实现差分隐私与安全聚合？
• RQ3 所提协议在保持与差分隐私中心化模型相当的模型准确率前提下，可扩展至多大规模客户端？
• RQ4 在恶意安全联邦学习环境中，隐私预算（ε）、模型准确率与计算效率之间的权衡如何？
• RQ5 LWE-based噪声与安全聚合的结合能否使通信扩展因子低于2倍，优于先前最先进协议？

主要发现

• 在聚合500个长度为20,000的向量时，FLDP将通信扩展因子从2倍降低至1.7倍，显著提升带宽效率。
• 服务器计算时间缩短至仅数秒，相较先前最先进协议的数分钟有显著改善。
• 在MNIST上，FLDP在ε ≤ 2时达到95%准确率，与差分隐私中心化模型性能一致。
• 在CIFAR-10上，FLDP在ε ≤ 4时达到70%准确率，展现出在复杂图像分类任务中的强大实用性。
• 协议对恶意客户端与恶意服务器均保持安全性，确保端到端隐私，无需依赖可信协调者。
• 实证评估证实，FLDP可有效扩展至大规模客户端群体，适用于实际联邦学习部署。