[论文解读] FPGA-Based Hardware Accelerator of Homomorphic Encryption for Efficient Federated Learning

Zhaoxiong Yang, Shuihai Hu+1 more|arXiv (Cornell University)|Jul 21, 2020

Cryptography and Data Security参考文献 12被引用 17

一句话总结

本文提出了一种基于FPGA的Paillier同态加密硬件加速器，以提升联邦学习中的训练效率。通过采用高层次综合（HLS）并利用Montgomery算法优化模乘法，该设计在加密时间上最多减少71%，相比软件实现提速10.6倍，同时在数据中心部署中展现出优异的DSP效率和紧凑的资源占用。

ABSTRACT

With the increasing awareness of privacy protection and data fragmentation problem, federated learning has been emerging as a new paradigm of machine learning. Federated learning tends to utilize various privacy preserving mechanisms to protect the transferred intermediate data, among which homomorphic encryption strikes a balance between security and ease of utilization. However, the complicated operations and large operands impose significant overhead on federated learning. Maintaining accuracy and security more efficiently has been a key problem of federated learning. In this work, we investigate a hardware solution, and design an FPGA-based homomorphic encryption framework, aiming to accelerate the training phase in federated learning. The root complexity lies in searching for a compact architecture for the core operation of homomorphic encryption, to suit the requirement of federated learning about high encryption throughput and flexibility of configuration. Our framework implements the representative Paillier homomorphic cryptosystem with high level synthesis for flexibility and portability, with careful optimization on the modular multiplication operation in terms of processing clock cycle, resource usage and clock frequency. Our accelerator achieves a near-optimal execution clock cycle, with a better DSP-efficiency than existing designs, and reduces the encryption time by up to 71% during training process of various federated learning models.

研究动机与目标

• 解决由于计算开销过高导致同态加密在联邦学习中存在性能瓶颈的问题。
• 设计一种紧凑、高吞吐量的基于FPGA的Paillier加密加速器，以支持安全、隐私保护的联邦学习。
• 针对Paillier加密的核心操作——模乘法，进行优化，以实现低延迟、高时钟频率和高效的DSP资源使用。
• 通过高层次综合（HLS）实现灵活、可移植且可重构的部署，同时不牺牲性能。
• 将加速器集成到FATE联邦学习框架中，对现有模型仅需极少修改。

提出的方法

• 使用高层次综合（HLS）设计Paillier同态加密加速器，以实现可移植性和参数化配置。
• 通过Montgomery算法实现模乘法，消除除法操作，提升FPGA兼容性。
• 通过流水线化和资源感知调度，优化模乘法单元，实现最小时钟周期、低资源占用和高时钟频率。
• 通过批量处理多个数据项并利用OpenCL命令队列实现计算与数据传输的重叠，降低加密延迟。
• 将加速器作为OpenCL内核库集成到FATE框架中，替代原有的基于软件的Paillier加密实现。
• 使用分析建模指导在时钟周期、DSP使用率、内存带宽和面积效率等方面的优化。

实验结果

研究问题

• RQ1 基于FPGA的加速如何提升联邦学习中同态加密的吞吐量和效率？
• RQ2 在FPGA上实现Paillier模乘法时，哪些架构优化最有效于最小化延迟和资源占用？
• RQ3 与基于软件的Paillier实现相比，所提出的硬件加速器在加密和解密性能方面表现如何？
• RQ4 该硬件加速器在使用线性模型的联邦学习中，能将训练迭代时间减少多少？
• RQ5 在数据中心环境中，该加速器能否在保持高安全性和准确性的前提下，支持可扩展、安全的模型训练？

主要发现

• 与使用PHE库的软件实现相比，基于FPGA的Paillier加速器在加密阶段实现10.6倍加速，在解密阶段实现2.76倍加速。
• 模乘法单元在使用线性模型的训练迭代中，最多将加密时间减少71.2%，从而将整体训练迭代时间减少26%。
• 该设计实现了每DSP块每秒12,626次操作的DSP效率，优于先前的FPGA解决方案（如San和At，2014年），后者为每DSP块8,903次操作/秒。
• 由于有效采用流水线和延迟隐藏技术，实际执行周期仅比理论最小值高出10%以内，表现出接近理想性能。
• 使用高层次综合（HLS）可实现灵活、可重用且可移植的硬件设计，而传统基于RTL的方法缺乏可配置性。
• 该加速器仅使用9个DSP块和483个LUT，实现了高度紧凑和高效的资源利用，优于仅依赖LUT或块RAM的设计。