[论文解读] HEMET: A Homomorphic-Encryption-Friendly Privacy-Preserving Mobile Neural Network Architecture

Qian Lou, Lei Jiang|arXiv (Cornell University)|May 31, 2021

Cryptography and Data Security被引用 13

一句话总结

HEMET 提出了一种适合同态加密（HE）的移动神经网络架构，可降低隐私保护神经网络（PPNNs）的推理延迟并提升准确率。通过使用贪心搜索算法将移动模块替换为高效卷积层，并应用系数合并以减少重缩放操作，HEMET 相较于最先进水平的 PPNNs 实现了 59.3–61.2% 的推理延迟降低和 0.4–0.5% 的准确率提升。

ABSTRACT

Recently Homomorphic Encryption (HE) is used to implement Privacy-Preserving Neural Networks (PPNNs) that perform inferences directly on encrypted data without decryption. Prior PPNNs adopt mobile network architectures such as SqueezeNet for smaller computing overhead, but we find naïvely using mobile network architectures for a PPNN does not necessarily achieve shorter inference latency. Despite having less parameters, a mobile network architecture typically introduces more layers and increases the HE multiplicative depth of a PPNN, thereby prolonging its inference latency. In this paper, we propose a extbf{HE}-friendly privacy-preserving extbf{M}obile neural n extbf{ET}work architecture, extbf{HEMET}. Experimental results show that, compared to state-of-the-art (SOTA) PPNNs, HEMET reduces the inference latency by $59.3\%\sim 61.2\%$, and improves the inference accuracy by $0.4 \% \sim 0.5\%$.

研究动机与目标

• 为解决使用同态加密（HE）进行端到端加密推理的隐私保护神经网络（PPNNs）中存在的高推理延迟问题。
• 指出在 PPNNs 中直接采用移动神经网络架构尽管参数更少，却可能增加乘法深度，从而导致延迟增加。
• 设计一种最小化 HE 操作次数与乘法深度、同时不牺牲准确率的 HE 友好型移动神经网络架构。
• 开发一种贪心架构搜索算法，逐层选择最优层类型（卷积层与移动模块），以降低延迟。
• 提出系数合并技术，将每层的掩码、近似 ReLU 系数与批量归一化系数合并为单一系数集，从而减少重缩放操作与延迟。

提出的方法

• 提出一种贪心的、逐层进行的架构搜索算法，通过评估是否使用标准卷积层或移动模块来最小化 HE 推理延迟。
• 引入系数合并技术，将每层的掩码、近似 ReLU 系数与批量归一化系数合并为一组单一系数，以减少重缩放操作。
• 采用 CKKS 同态加密方案并结合 RNS 分解，以管理噪声并支持对加密张量进行近似算术运算。
• 使用二次多项式逼近（degree-2）实现 ReLU 激活，实现无需交互的全同态计算，从而支持非交互式 PPNNs。
• 在 SqueezeNet 和 InceptionNet 主干网络上评估该搜索算法，将选定的移动模块替换为标准卷积层，以降低深度与延迟。
• 在架构搜索完成后应用系数合并，进一步减少重缩放操作次数，而这类操作在 HE 中开销较大。

实验结果

研究问题

• RQ1 尽管参数更少，是否在 PPNNs 中直接应用移动神经网络架构总是能降低推理延迟？
• RQ2 贪心的、逐层的架构搜索算法能否识别出最优的层类型（卷积层与移动模块），以最小化 HE 推理延迟？
• RQ3 在不影响准确率的前提下，系数合并在 HE 基础的 PPNNs 中能将重缩放操作减少多少？
• RQ4 通过结合架构搜索与系数合并，在 PPNNs 中能实现多大程度的延迟降低与准确率提升？
• RQ5 所提出的 HEMET 架构是否能在 CIFAR-10 和 MNIST 等标准基准上，同时优于最先进水平的 PPNNs，在延迟与准确率方面？

主要发现

• HEMET 相较于基于 SqueezeNet 和 InceptionNet 的最先进 PPNNs，推理延迟降低了 59.3–61.2%。
• 尽管计算成本降低，HEMET 的推理准确率仍比现有 PPNNs 提高了 0.4–0.5%。
• 基于 SqueezeNet 的 Ours-F34 架构在 CIFAR-10 上实现 43.8 秒的推理延迟，相比原始 SqueezeNet 减少了 40.5%。
• 系数合并在 Ours-F34 中减少了两次重缩放操作，在 Ours-I789 中减少了四次，分别带来 20% 和 37% 的延迟降低。
• 将更多移动模块替换为卷积层并不总能降低延迟，表明深度与效率之间存在权衡。
• 性能最佳的架构 Ours-I789-Merge 在 InceptionNet 上相比 EVA 编译的 InceptionNet 实现了 61.2% 的延迟降低与 0.5% 的准确率提升。