[论文解读] Towards the AlexNet Moment for Homomorphic Encryption: HCNN, theFirst Homomorphic CNN on Encrypted Data with GPUs

Ahmad Al Badawi, Chao Jin+7 more|arXiv (Cornell University)|Nov 2, 2018

Cryptography and Data Security参考文献 39被引用 16

一句话总结

本文提出 HCNN，这是首个基于 GPU 加速的同态卷积神经网络，可使用全同态加密（FHE）对加密图像实现高效且保护隐私的推理。通过结合低精度量化网络、优化的 FHE 参数以及高度并行化的 GPU 实现，HCNN 在超过 80 位安全级别的条件下，实现了 MNIST 图像 5.16 秒的推理延迟和 99% 的准确率，CIFAR-10 图像则为 304.43 秒的推理延迟和 77.55% 的准确率。

ABSTRACT

Deep Learning as a Service (DLaaS) stands as a promising solution for cloud-based inference applications. In this setting, the cloud has a pre-learned model whereas the user has samples on which she wants to run the model. The biggest concern with DLaaS is user privacy if the input samples are sensitive data. We provide here an efficient privacy-preserving system by employing high-end technologies such as Fully Homomorphic Encryption (FHE), Convolutional Neural Networks (CNNs) and Graphics Processing Units (GPUs). FHE, with its widely-known feature of computing on encrypted data, empowers a wide range of privacy-concerned applications. This comes at high cost as it requires enormous computing power. In this paper, we show how to accelerate the performance of running CNNs on encrypted data with GPUs. We evaluated two CNNs to classify homomorphically the MNIST and CIFAR-10 datasets. Our solution achieved a sufficient security level (> 80 bit) and reasonable classification accuracy (99%) and (77.55%) for MNIST and CIFAR-10, respectively. In terms of latency, we could classify an image in 5.16 seconds and 304.43 seconds for MNIST and CIFAR-10, respectively. Our system can also classify a batch of images (> 8,000) without extra overhead.

研究动机与目标

• 解决使用全同态加密（FHE）进行隐私保护深度学习时面临的高计算开销这一关键挑战。
• 在深度学习即服务（DLaaS）中实现对加密数据的高效、安全推理，而无需暴露用户数据或模型权重。
• 通过利用 GPU 加速和系统级优化，克服先前基于 FHE 的 CNN 所面临的性能瓶颈。
• 在保持强安全（超过 80 位）和高分类准确率的同时，实现适用于实际部署的推理延迟。
• 证明同态推理可被加速至接近实用性能，标志着如同 FHE 领域的 AlexNet 一般的重要里程碑。

提出的方法

• 设计两种适合 FHE 的 CNN 架构：用于 MNIST 的五层网络和用于 CIFAR-10 的十一层网络，以优化同态评估性能。
• 采用低精度量化（MNIST 使用 43 位明文模数）并使用统一的训练/推理网络，以减少 FHE 噪声增长和电路深度。
• 选择经过优化的环维度和明文模数的 A∗FV FHE 方案，以在安全性、噪声预算和性能之间取得平衡。
• 使用 SEAL 库实现高度优化的 GPU 内核以执行 FHE 操作，从而实现同态操作的大规模并行化。
• 通过密文打包实现批量处理（每批最多 8,192 张图像），以分摊计算成本并提升吞吐量。
• 端到端集成从加密输入到解密输出的处理管道，确保客户端与服务器之间的非交互式通信。

实验结果

研究问题

• RQ1 与基于 CPU 的 FHE 系统相比，GPU 加速是否能显著降低对加密图像进行同态推理的延迟？
• RQ2 在确保足够噪声预算的前提下，维持高准确率所需的最小网络深度和精度是多少？
• RQ3 FHE 方案的选择（如 A∗FV 与 SEAL）如何影响同态 CNN 中的噪声增长和整体性能？
• RQ4 批量处理在多大程度上能提升吞吐量并降低同态图像分类的分摊延迟？
• RQ5 在 GPU 上使用 FHE 是否能够实现实际的推理延迟（MNIST 低于 10 秒，CIFAR-10 低于 10 分钟）？

主要发现

• HCNN 在 MNIST 上实现了 5.16 秒的分类延迟和 99% 的准确率，相比之前工作（CryptoNets 为 570 秒）实现了 109 倍的加速。
• 在 CIFAR-10 上，HCNN 实现了每张图像 304.43 秒的延迟和 77.55% 的准确率，相比 FCryptoNets（22,372 秒）和 CryptoDL（11,686 秒）实现了数量级的性能提升。
• 系统支持最多 8,192 张图像的批量处理，且无额外开销，使 CIFAR-10 的分摊延迟降低至每张图像仅 0.372 秒。
• A∗FV 显著低于 SEAL 的噪声增长，使得即使在保守参数设置下，也能成功评估 MNIST 的 HCNN。
• 优化后的五层 MNIST 网络仅使用 43 位明文模数，小于 CryptoNets 的 80 位模数，同时保持 99% 的准确率和更高的效率。
• 该解决方案实现了超过 80 位的安全级别（不同配置下为 91–175 位），确保了强大的密码学安全性，且未牺牲性能。