[论文解读] ARK: Fully Homomorphic Encryption Accelerator with Runtime Data Generation and Inter-Operation Key Reuse

Jongmin Kim, Gwangho Lee+5 more|arXiv (Cornell University)|May 2, 2022

Cryptography and Data Security被引用 7

一句话总结

ARK 是一种用于全同态加密（FHE）的领域专用加速器，通过算法-架构协同设计克服了片外内存带宽瓶颈。通过引入最小化密钥切换和运行时即时进位扩展，ARK 将片外内存访问减少了 88%，实现了完整的片上工作集利用，使乘法吞吐量提高 2,353 倍，逻辑回归训练速度提升 18 倍，优于以往工作，并实现了 0.125 秒内实时的 ResNet-20 推理。

ABSTRACT

Homomorphic Encryption (HE) is one of the most promising post-quantum cryptographic schemes that enable privacy-preserving computation on servers. However, noise accumulates as we perform operations on HE-encrypted data, restricting the number of possible operations. Fully HE (FHE) removes this restriction by introducing the bootstrapping operation, which refreshes the data; however, FHE schemes are highly memory-bound. Bootstrapping, in particular, requires loading GBs of evaluation keys and plaintexts from off-chip memory, which makes FHE acceleration fundamentally bottlenecked by the off-chip memory bandwidth. In this paper, we propose ARK, an Accelerator for FHE with Runtime data generation and inter-operation Key reuse. ARK enables practical FHE workloads with a novel algorithm-architecture co-design to accelerate bootstrapping. We first eliminate the off-chip memory bandwidth bottleneck through runtime data generation and inter-operation key reuse. This approach enables ARK to fully exploit on-chip memory by substantially reducing the size of the working set. On top of such algorithmic enhancements, we build ARK microarchitecture that minimizes on-chip data movement through an efficient, alternating data distribution policy based on the data access patterns and a streamlined dataflow organization of the tailored functional units -- including base conversion, number-theoretic transform, and automorphism units. Overall, our co-design effectively handles the heavy computation and data movement overheads of FHE, drastically reducing the cost of HE operations, including bootstrapping.

研究动机与目标

• 解决 FHE 硬件加速中，特别是自举操作期间严重的片外内存带宽瓶颈问题。
• 克服现有加速器因大尺寸、一次性使用的评估密钥和明文导致的高片外内存访问限制。
• 通过算法优化大幅减小工作集大小，实现 FHE 工作负载的实际部署。
• 设计专用微架构，最小化片上数据移动，并利用算法增强带来的更高计算强度。
• 在加密数据上实现隐私保护机器学习工作负载（如 CNN 推理和逻辑回归训练）的实时性能。

提出的方法

• 提出最小化密钥切换，一种算法优化，通过在操作间复用密钥，减少自举过程中冗余的密钥切换操作。
• 提出运行时即时进位扩展，即在运行时生成数据元素而非预先加载，从而最小化片外内存访问。
• 与数据分布策略协同设计 ARK 微架构，以适应 FHE 操作中两种不同的数据访问模式，提升数据流效率。
• 为核心 FHE 操作（基底转换 BConv、数论变换 NTT 和自同态）实现专用功能单元（FUs），并优化以降低数据移动。
• 将芯片划分为两个逻辑区域，以简化数据流并减少片上数据移动，提升内存带宽利用率。
• 集成精简的数据流架构，通过针对 CKKS 自举访问模式量身定制的策略，同步功能单元的操作。

实验结果

研究问题

• RQ1 如何通过算法创新缓解 FHE 自举中的片外内存带宽瓶颈？
• RQ2 运行时数据生成和操作间密钥复用在多大程度上能减小 FHE 加速器的工作集大小？
• RQ3 协同设计的加速器架构能否充分挖掘减小后的工作集潜力，实现高吞吐量和低延迟？
• RQ4 在实际 FHE 工作负载（如逻辑回归和 CNN 推理）中，所提出的优化能带来多大的性能提升？
• RQ5 与最先进的 FHE 加速器（如 F1 和 BTS）相比，ARK 在性能和效率方面表现如何？

主要发现

• 通过最小化密钥切换和运行时即时进位扩展，ARK 在自举过程中将片外内存访问减少了 88%，消除了冗余数据传输。
• 协同设计的 ARK 微架构相比最先进的 HE 加速器 F1 [87]，实现了 2,353 倍更高的乘法吞吐量。
• ARK 实现了在 0.125 秒内对 ResNet-20 模型的实时加密推理，相比基线 CPU 实现提升了 18,214 倍。
• ARK 将逻辑回归训练性能相比先前最先进的加速器提升了 18 倍。
• ARK 加速器面积为 418.3 mm²，功耗最高达 281.3W，展现出适用于实际部署的高面积和功耗效率。
• 所提出的算法优化使整个减小后的工作集可完全存储在片上，无需频繁访问片外内存，从而实现了对片上内存和逻辑资源的完全利用。