[论文解读] Faster CryptoNets: Leveraging Sparsity for Real-World Encrypted Inference

Edward Chou, Josh Beal+4 more|arXiv (Cornell University)|Nov 25, 2018

Privacy-Preserving Technologies in Data参考文献 41被引用 137

一句话总结

Faster CryptoNets 引入剪枝、量化和稀疏激活近似，以通过同态加密加速加密神经网络推理，在 MNIST 上实现显著更快的运行时间并保持具有竞争力的准确度。

ABSTRACT

Homomorphic encryption enables arbitrary computation over data while it remains encrypted. This privacy-preserving feature is attractive for machine learning, but requires significant computational time due to the large overhead of the encryption scheme. We present Faster CryptoNets, a method for efficient encrypted inference using neural networks. We develop a pruning and quantization approach that leverages sparse representations in the underlying cryptosystem to accelerate inference. We derive an optimal approximation for popular activation functions that achieves maximally-sparse encodings and minimizes approximation error. We also show how privacy-safe training techniques can be used to reduce the overhead of encrypted inference for real-world datasets by leveraging transfer learning and differential privacy. Our experiments show that our method maintains competitive accuracy and achieves a significant speedup over previous methods. This work increases the viability of deep learning systems that use homomorphic encryption to protect user privacy.

研究动机与目标

• 通过同态加密实现用于 MLaaS 场景的加密推理来推动隐私保护的机器学习。
• 开发通过稀疏性和量化多项式表示来降低加密神经网络的计算开销的方法。
• 推导与 HE 兼容的最优稀疏多项式激活近似以最小化误差。
• 在真实数据集上结合迁移学习和差分隐私展示实际可行性。

提出的方法

• 引入网络剪枝和渐进量化以强制模型权重的稀疏性。
• 将剩余权重表示为2的幂以在 HE 中实现稀疏多项式编码。
• 在2 的幂系数约束下开发激活函数的最优量化多项式近似。
• 通过单项式乘法的稀疏明文-密文乘法来降低同态运算数量（HOPs）。
• 采用特征提取框架和差分隐私以在保持精度的同时提高在现实世界中的适用性。
• 使用 MNIST 进行评估并将 HOPs、运行时间和准确度与先前的加密推理方法进行比较。

实验结果

研究问题

• RQ1 在稀疏性和量化多项式表示下，是否能显著降低加密神经网络推理的 HOPs 和实际时耗？
• RQ2 在按 2 的幂系数约束下，激活函数的表达能力与近似误差之间的权衡是什么？
• RQ3 在 HE 约束下，剪枝、量化和激活近似如何影响真实数据集上的准确性？
• RQ4 该方法是否可用于单图像加密推理并能扩展到实际任务？

主要发现

• Faster CryptoNets 在各层大幅降低同态运算，使加密推理比 CryptoNets 和 CryptoDL 变体更快。
• 提出的以系数为 2 的幂的激活近似在 MNIST 上保持了具有竞争力的测试准确度。
• 稀疏明文-密文乘法使某些单项式乘法的复杂度达到 O(n)，从而降低每层的 HOPs。
• 量化和剪枝减少乘法运算，降低整体 HOPs 同时保持推断准确性。
• 比较显示 Faster CryptoNets 结合 Swish-AQ 在总 HOPs 和推理时间方面显著低于之前的加密方法，同时保持具有竞争力的准确度。
• 该工作证明了利用差分隐私和特征提取来处理更大数据集的现实世界加密推理的可行性。