[论文解读] An Efficient and Multi-private Key Secure Aggregation for Federated Learning

Xue Yang, Zifeng Liu+3 more|arXiv (Cornell University)|Jun 15, 2023

Privacy-Preserving Technologies in DataComputer Science被引用 3

一句话总结

该论文提出了一种新颖、高效且支持多私钥的联邦学习安全聚合方案，通过允许客户端独立选择自己的公钥和私钥，消除了对可信第三方的依赖。通过改进变体ElGamal加密算法，并利用超递增序列对高维模型参数进行压缩，该方案在个体梯度和聚合结果上均实现了语义安全，对客户端合谋和掉线客户端具有强鲁棒性，同时在计算和通信效率方面显著优于现有基于同态加密的方法。

ABSTRACT

With the emergence of privacy leaks in federated learning, secure aggregation protocols that mainly adopt either homomorphic encryption or threshold secret sharing have been widely developed for federated learning to protect the privacy of the local training data of each client. However, these existing protocols suffer from many shortcomings, such as the dependence on a trusted third party, the vulnerability to clients being corrupted, low efficiency, the trade-off between security and fault tolerance, etc. To solve these disadvantages, we propose an efficient and multi-private key secure aggregation scheme for federated learning. Specifically, we skillfully modify the variant ElGamal encryption technique to achieve homomorphic addition operation, which has two important advantages: 1) The server and each client can freely select public and private keys without introducing a trust third party and 2) Compared to the variant ElGamal encryption, the plaintext space is relatively large, which is more suitable for the deep model. Besides, for the high dimensional deep model parameter, we introduce a super-increasing sequence to compress multi-dimensional data into 1-D, which can greatly reduce encryption and decryption times as well as communication for ciphertext transmission. Detailed security analyses show that our proposed scheme achieves the semantic security of both individual local gradients and the aggregated result while achieving optimal robustness in tolerating both client collusion and dropped clients. Extensive simulations demonstrate that the accuracy of our scheme is almost the same as the non-private approach, while the efficiency of our scheme is much better than the state-of-the-art homomorphic encryption-based secure aggregation schemes. More importantly, the efficiency advantages of our scheme will become increasingly prominent as the number of model parameters increases.

研究动机与目标

• 为解决现有联邦学习安全聚合协议的局限性，包括对可信第三方的依赖、对客户端 compromised 的脆弱性，以及高计算和通信开销。
• 在不依赖可信第三方生成密钥的前提下，维持对个体梯度和聚合结果的强安全保证。
• 通过使用超递增序列对模型参数进行降维压缩，减少加密/解密操作和密文传输，从而提升深度学习模型的效率。
• 在不牺牲容错性或安全性的前提下，实现对客户端合谋和掉线客户端的最优鲁棒性。
• 通过防止未经授权访问传输数据，确保聚合结果的隐私，而不仅限于个体梯度的隐私。

提出的方法

• 该方案通过改进变体ElGamal加密算法，使其在独立选择的公钥和私钥下支持加法同态操作，从而实现无需可信第三方的加密聚合。
• 每个客户端使用其自身的公钥和私钥对本地梯度进行加密，确保单个客户端被攻破不会导致整个系统崩溃。
• 采用超递增序列将多维模型参数压缩为一维向量，从而减少加密和解密操作次数，并最小化密文传输量。
• 协议确保只有服务器能够解密聚合结果，而个体梯度始终保持语义安全。
• 通过精心设计的安全交互协议，在多私钥环境下保持同态性质，从而实现安全防护。
• 该方案支持最优容错能力，允许最多 n−t 个客户端掉线或合谋，其中 t 为重构阈值。

实验结果

研究问题

• RQ1 能否设计一种联邦学习安全聚合方案，无需依赖可信第三方进行密钥生成？
• RQ2 当客户端使用独立选择的公钥和私钥时，如何使同态加密支持加法操作？
• RQ3 哪些技术能够有效压缩高维模型参数，以减少加密/解密和通信开销？
• RQ4 在客户端合谋和掉线客户端场景下，该方案如何维持对个体梯度和聚合结果的语义安全？
• RQ5 该方案能否在模型规模增大时，相比现有基于同态加密的安全聚合协议实现更高的效率？

主要发现

• 所提出的方案即使在客户端合谋和掉线客户端条件下，也能对个体本地梯度和聚合结果实现语义安全。
• 该方案消除了对可信第三方的需求，增强了系统安全性与去中心化程度。
• 通过使用改进的ElGamal变体，明文空间显著扩大，使其更适用于参数维度较大的深度学习模型。
• 利用超递增序列可减少加密和解密操作次数，并最小化密文传输，从而带来显著的效率提升。
• 性能评估表明，该方案的计算和通信效率优于最先进的基于同态加密的方案，且随着模型规模增大，优势更加明显。
• 所提方案的准确率几乎与非私密联邦学习一致，证实其对模型性能的影响极小。