[论文解读] HeLayers: A Tile Tensors Framework for Large Neural Networks on Encrypted Data

Ehud Aharoni, Allon Adir+10 more|arXiv (Cornell University)|Nov 3, 2020

Algorithms and Data Compression被引用 6

一句话总结

HeLayers 引入了一种用于张量分块的框架，抽象了大规模神经网络同态加密（HE）中的数据打包，实现了对加密数据的高效推理。通过优化数据布局并使用通用操作符系统，其在加密的 AlexNet 上实现了 5 分钟内完成推理，相比以往非交互式 HE 解决方案快了数个数量级。

ABSTRACT

Privacy-preserving solutions enable companies to offload confidential data to third-party services while fulfilling their government regulations. To accomplish this, they leverage various cryptographic techniques such as Homomorphic Encryption (HE), which allows performing computation on encrypted data. Most HE schemes work in a SIMD fashion, and the data packing method can dramatically affect the running time and memory costs. Finding a packing method that leads to an optimal performant implementation is a hard task. We present a simple and intuitive framework that abstracts the packing decision for the user. We explain its underlying data structures and optimizer, and propose a novel algorithm for performing 2D convolution operations. We used this framework to implement an HE-friendly version of AlexNet, which runs in three minutes, several orders of magnitude faster than other state-of-the-art solutions that only use HE.

研究动机与目标

• 解决在加密数据上运行大规模神经网络时同态加密（HE）带来的性能瓶颈。
• 通过抽象底层密码学数据布局选择，降低开发者在 HE 打包决策上的复杂度。
• 通过非交互式 HE 实现对 AlexNet 和 SqueezeNet 等大模型在加密输入上的高效、可扩展推理。
• 提供一个灵活的框架，通过可配置的分块张量布局支持延迟、吞吐量和内存使用之间的权衡。
• 展示仅使用非交互式 HE 实现大规模模型的实际、高性能推理，避免需要客户端协助的计算。

提出的方法

• 引入分块张量作为高层抽象，用于表示多维数据，并在 HE 密文槽中支持可配置的打包策略。
• 采用通用的、与布局无关的操作符系统，适用于所有分块张量配置，实现无需重写即可无缝进行张量运算。
• 使用可配置的优化器，根据用户指定的目标（如低延迟、高吞吐量、内存效率）选择最佳分块张量布局。
• 应用新颖的 2D 卷积运算算法，充分利用 SIMD 同态评估和 CKKS 风格 HE 方案中的高效槽利用。
• 通过调整分块张量的批量维度支持动态批处理，实现延迟与吞吐量之间的权衡。
• 采用适配 HE 友好计算的 im2col 和矩阵对角化技术，最小化冗余操作和旋转操作。

实验结果

研究问题

• RQ1 如何抽象并自动化大规模神经网络在同态加密中复杂的数据打包任务？
• RQ2 不同的张量打包策略对非交互式 HE 推理中的性能、内存使用和通信成本有何影响？
• RQ3 能否构建一个通用且可重用的框架，以支持多样化的神经网络操作，同时在各种 HE 配置下保持高性能？
• RQ4 与现有系统如 CHET 或 nGraph-HE2 相比，所提出的分块张量框架在延迟、吞吐量和内存效率方面表现如何？
• RQ5 非交互式 HE 在多大程度上可用于实际的大规模神经网络推理，而无需依赖客户端交互？

主要发现

• HeLayers 在加密的大输入 AlexNet 上实现了约 5 分钟的端到端推理，相比以往非交互式 HE 解决方案超过 3 小时的耗时，有显著提升。
• 在 SqueezeNet-CIFAR 基准测试中，当优化为低延迟时，与 CHET 相比延迟降低 1.24 倍；使用更大批量时，平均延迟提升 11.5 倍。
• 当批量大小为 64 时，吞吐量相比 CHET 最高提升 11.5 倍，表明 HE 密文槽之间实现了有效的负载均衡。
• 分块张量抽象通过标准化的形状表示，显著降低了开发复杂度，支持一致的调试和错误报告。
• 优化器成功选择了在内存使用和性能之间取得平衡的最优打包配置，避免了朴素打包策略中常见的次优布局。
• 该框架支持在无需客户端协助计算的情况下对 AlexNet 等大模型实现实际推理，适用于符合隐私法规的实际部署。