[论文解读] Distributed Additive Encryption and Quantization for Privacy Preserving Federated Deep Learning

Hangyu Zhu, Rui Wang+3 more|arXiv (Cornell University)|Nov 25, 2020

Privacy-Preserving Technologies in Data参考文献 48被引用 6

一句话总结

本文提出了一种基于同态加密的分布式、高效且隐私保护的联邦学习框架，结合客户端量化与基于门限的秘密共享机制。通过实现分布式密钥生成并避免对完整模型进行加密，该方法在保持模型准确率与非加密联邦学习相差不超过1%的同时，显著降低了通信与计算开销，即使在对抗性条件下仍能保持稳定性能。

ABSTRACT

Homomorphic encryption is a very useful gradient protection technique used in privacy preserving federated learning. However, existing encrypted federated learning systems need a trusted third party to generate and distribute key pairs to connected participants, making them unsuited for federated learning and vulnerable to security risks. Moreover, encrypting all model parameters is computationally intensive, especially for large machine learning models such as deep neural networks. In order to mitigate these issues, we develop a practical, computationally efficient encryption based protocol for federated deep learning, where the key pairs are collaboratively generated without the help of a third party. By quantization of the model parameters on the clients and an approximated aggregation on the server, the proposed method avoids encryption and decryption of the entire model. In addition, a threshold based secret sharing technique is designed so that no one can hold the global private key for decryption, while aggregated ciphertexts can be successfully decrypted by a threshold number of clients even if some clients are offline. Our experimental results confirm that the proposed method significantly reduces the communication costs and computational complexity compared to existing encrypted federated learning without compromising the performance and security.

研究动机与目标

• 消除同态加密联邦学习中对可信第三方进行密钥分发的依赖。
• 通过在客户端对模型参数进行量化，降低对大型深度学习模型进行加密所带来的计算与通信开销。
• 通过基于门限的秘密共享机制确保安全性，即解密需要部分客户端的协作。
• 在模型参数被量化和加密的情况下，仍能保持与非加密联邦学习相当的模型性能。

提出的方法

• 客户端执行本地训练，并在加密前将模型梯度量化为低比特表示（例如8–15比特）。
• 对量化后的梯度应用加法ElGamal加密，使服务器能够在不解密的情况下对密文执行同态加法运算。
• 采用分布式密钥生成协议，使客户端能够协作生成公钥与私钥份额，而无需可信第三方参与。
• 服务器使用同态加法聚合加密梯度，每层模型生成一个单一密文。
• 基于门限的秘密共享机制确保仅当足够数量的客户端协作时，才能重建全局私钥以完成解密。
• 仅在必要时使用暴力破解恢复明文，且对于编码长度不超过15比特的模型，该过程可在可接受的时间范围内完成。

实验结果

研究问题

• RQ1 联邦学习能否在不依赖可信第三方管理密钥的情况下，抵御梯度反演攻击？
• RQ2 模型参数的量化如何影响加密联邦学习中通信效率、计算成本与模型准确率之间的权衡？
• RQ3 基于门限的秘密共享机制能否在无中心权威机构的情况下实现安全且分布式的解密？
• RQ4 在保证模型性能的同时，能够维持的最高量化位长是多少？
• RQ5 与现有基于同态加密的联邦学习系统相比，该方法在通信与计算开销方面表现如何？

主要发现

• 与现有加密联邦学习系统相比，所提方法显著降低了通信与计算成本，对模型性能的影响可忽略不计。
• 在Shakespeare数据集上，使用15比特量化时，模型准确率仅下降约1%，与非加密联邦学习相比表现相近。
• 即使部分客户端离线，只要达到门限数量的客户端参与解密，系统仍能保持安全与功能正常。
• 对于编码长度不超过15比特的模型，暴力破解明文恢复可在可接受的时间范围内完成，且随着训练收敛，恢复速度进一步提升。
• 在判定性Diffie-Hellman假设下，系统实现了CPA安全，确保了加密梯度的机密性。
• 分布式密钥生成协议消除了对可信第三方的需求，提升了系统的鲁棒性与可扩展性。