[论文解读] Federated Learning with Quantum Computing and Fully Homomorphic Encryption: A Novel Computing Paradigm Shift in Privacy-Preserving ML

Siddhant Dutta, Pavana P Karanth+6 more|arXiv (Cornell University)|Sep 14, 2024

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种新颖的联邦量子神经网络（FHE-FedQNN），在联邦学习框架中整合全同态加密（FHE）与量子计算，以增强隐私保护与效率。通过使用FHE对模型更新进行加密，并利用量子电路执行本地计算，该方法在性能开销极小的情况下实现了强大的隐私保障，展示了在隐私保护机器学习中更高的泛化能力与可扩展性。

ABSTRACT

The widespread deployment of products powered by machine learning models is raising concerns around data privacy and information security worldwide. To address this issue, Federated Learning was first proposed as a privacy-preserving alternative to conventional methods that allow multiple learning clients to share model knowledge without disclosing private data. A complementary approach known as Fully Homomorphic Encryption (FHE) is a quantum-safe cryptographic system that enables operations to be performed on encrypted weights. However, implementing mechanisms such as these in practice often comes with significant computational overhead and can expose potential security threats. Novel computing paradigms, such as analog, quantum, and specialized digital hardware, present opportunities for implementing privacy-preserving machine learning systems while enhancing security and mitigating performance loss. This work instantiates these ideas by applying the FHE scheme to a Federated Learning Neural Network architecture that integrates both classical and quantum layers.

研究动机与目标

• 解决联邦机器学习中日益增长的数据隐私与安全问题。
• 缓解传统联邦学习固有的计算与通信开销。
• 通过使用全同态加密（FHE）实现抗量子加密，增强隐私保护。
• 探索将量子计算与联邦学习结合，以加速本地训练。
• 评估混合经典-量子联邦学习系统中隐私、准确率与训练效率之间的性能权衡。

提出的方法

• 提出一种结合经典与量子神经网络层的混合联邦学习架构。
• 在模型更新传输至中央服务器前，应用全同态加密（FHE）对更新进行加密。
• 在客户端使用量子电路执行本地模型训练，利用量子加速实现矩阵运算与梯度计算。
• 使用张量网络模拟在经典硬件上模拟量子电路，以实现实际部署与可复现性。
• 采用联邦平均策略，对加密的模型更新进行聚合，而无需解密。
• 在CIFAR-10、Brain MRI与PCOS数据集上进行验证，共20轮，20个客户端，每轮10个周期。

实验结果

研究问题

• RQ1 将FHE与量子联邦学习结合对模型准确率与训练时间有何影响？
• RQ2 在联邦学习中引入量子计算层是否能降低本地计算开销，同时保持隐私？
• RQ3 FHE对联邦量子神经网络中模型泛化能力有何性能影响？
• RQ4 FHE-FedQNN与标准FedNN模型在不同数据集上的测试准确率与损失方面有何差异？
• RQ5 在经典硬件上对量子模拟在该混合联邦学习框架中能在多大程度上复现真实量子设备的行为？

主要发现

• 在Brain MRI数据集上，FHE-FedQNN模型实现了99.60%的训练准确率与88.75%的测试准确率，尽管测试损失较高，但泛化能力优于标准FedNN。
• 在CIFAR-10上，FHE-FedQNN模型达到100%的训练准确率与68.53%的测试准确率，测试损失为1.322，训练时间为136.4分钟。
• 与标准FedNN相比，FHE-FedQNN在泛化能力上表现更优，尽管测试损失更高，但在Brain MRI（88.4% vs. 90.36%）与PCOS（64.11% vs. 65.37%）数据集上测试准确率更高。
• 量子层与FHE的集成并未显著增加训练时间，FHE-FedQNN在CIFAR-10上的训练时间为136.4分钟，而标准FedNN为128.9分钟。
• 该框架表明，量子增强的本地训练可与端到端FHE加密共存，且不会带来不可接受的性能损失。
• 开源实现已发布于 https://github.com/elucidator8918/QFL-MLNCP-NeurIPS，支持可复现性与进一步基准测试。