[论文解读] HyPHEN: A Hybrid Packing Method and Optimizations for Homomorphic Encryption-Based Neural Networks

Dong-Hwan Kim, Jaiyoung Park+3 more|arXiv (Cornell University)|Feb 5, 2023

Cryptography and Data Security被引用 4

一句话总结

HyPHEN 提出了一种混合打包方法和优化的卷积算法（RAConv 和 CAConv），以大幅减少基于全同态加密（FHE）的卷积神经网络（CNN）推理中的同态操作。通过支持多态数据格式并最小化昂贵的旋转操作与内存膨胀，HyPHEN 实现了 CIFAR-10（ResNet-20）推理仅需 1.4 秒，并首次实现了 ImageNet 推理（14.7 秒）的端到端运行，使用 ResNet-18 模型。

ABSTRACT

Convolutional neural network (CNN) inference using fully homomorphic encryption (FHE) is a promising private inference (PI) solution due to the capability of FHE that enables offloading the whole computation process to the server while protecting the privacy of sensitive user data. Prior FHE-based CNN (HCNN) work has demonstrated the feasibility of constructing deep neural network architectures such as ResNet using FHE. Despite these advancements, HCNN still faces significant challenges in practicality due to the high computational and memory overhead. To overcome these limitations, we present HyPHEN, a deep HCNN construction that incorporates novel convolution algorithms (RAConv and CAConv), data packing methods (2D gap packing and PRCR scheme), and optimization techniques tailored to HCNN construction. Such enhancements enable HyPHEN to substantially reduce the memory footprint and the number of expensive homomorphic operations, such as ciphertext rotation and bootstrapping. As a result, HyPHEN brings the latency of HCNN CIFAR-10 inference down to a practical level at 1.4 seconds (ResNet-20) and demonstrates HCNN ImageNet inference for the first time at 14.7 seconds (ResNet-18).

研究动机与目标

• 解决基于全同态加密（FHE）的卷积神经网络推理（HCNN）中存在的高计算与内存开销问题，以促进实际部署。
• 在推理过程中减少昂贵的同态操作数量，尤其是密文旋转与自举操作。
• 通过重新思考权重明文布局与复用策略，最小化因权重扩展而引起的内存膨胀，尤其针对高分辨率图像与大型模型（如 ResNet-18 和 ResNet-50）的场景。
• 通过优化数据打包与卷积算法，实现对真实世界数据集（如 ImageNet）的实用化、低延迟私有推理。
• 在保持模型隐私的前提下，实现端到端的私有推理，支持简洁的通信与完整的服务器端计算卸载。

提出的方法

• 提出 RAConv 与 CAConv，即针对不同数据格式定制的多态 FHE 卷积算法，以减少对昂贵密文旋转的依赖。
• 设计二维间隙打包（2D gap packing），以高效管理步幅卷积引入的空间间隙，从而在数据重组过程中最小化旋转开销。
• 提出 PRCR（密文行复用打包）方案，消除权重元素在输入图像各分段之间的冗余复制，显著降低明文内存占用。
• 采用混合数据打包策略，支持按层动态选择数据格式（如密集型、按行、分段型），以最小化数据重排成本。
• 利用 AESPA 中的低次多项式近似方法实现 ReLU 激活函数，降低激活计算成本，避免昂贵的同态操作。
• 通过将输入图像划分为按行分段，并使权重尺寸与分段维度对齐，优化数据布局与权重复用，从而减少内存膨胀。

实验结果

研究问题

• RQ1 混合打包方法能否有效减少基于 FHE 的 CNN 推理过程中所需的同态旋转次数？
• RQ2 如何设计多态卷积算法以适应不同数据格式，并最小化数据重排成本？
• RQ3 通过重新思考权重明文布局与复用策略，能否在基于 FHE 的 CNN 中显著减少内存占用？
• RQ4 结合优化的打包、卷积与激活方法，能否实现对 ResNet-18 等大型模型在 ImageNet 上的实际推理延迟？
• RQ5 数据格式一致性与动态格式切换对 HCNN 推理整体性能有何影响？

主要发现

• HyPHEN 在 GPU 上将 ResNet-20 在 CIFAR-10 上的推理延迟降低至 1.40 秒，相比先前最先进方法提升 2.15 倍。
• 首次实现基于 FHE 的 ImageNet 端到端推理，使用 ResNet-18 模型仅耗时 14.69 秒，证明了其在真实世界数据集上的可扩展性。
• PRCR 方案通过消除每个权重元素的重复复制，显著减少了内存占用，尤其对 ResNet-50 等大型模型具有显著优势。
• RAConv 与 CAConv 通过消除层间数据格式转换（IR）需求以及最小化通道求和（RaS）旋转操作，显著减少了同态旋转次数。
• 在 CPU 上，HyPHEN 对 ResNet-20 和 ResNet-18 的推理延迟分别比先前最先进方法降低 1.83 倍与 2.15 倍。
• 结合二维间隙处理的混合打包方法，可在步幅特征图上实现高效卷积，同时最小化旋转开销并保持数据局部性。