[论文解读] Crypto-Nets: Neural Networks over Encrypted Data

Pengtao Xie, Misha Bilenko+4 more|arXiv (Cornell University)|Dec 18, 2014

Privacy-Preserving Technologies in Data参考文献 16被引用 133

一句话总结

本文提出了Crypto-Nets，一种利用同态加密在加密数据上进行神经网络推理的系统，使安全的云环境预测成为可能，而无需向云服务提供商暴露原始输入或输出。其主要贡献是一个实用的隐私保护机器学习框架，通过多项式逼近和改进的训练方法支持非线性激活函数，使敏感应用（如医疗和金融）中的安全推理成为可行方案。

ABSTRACT

The problem we address is the following: how can a user employ a predictive model that is held by a third party, without compromising private information. For example, a hospital may wish to use a cloud service to predict the readmission risk of a patient. However, due to regulations, the patient's medical files cannot be revealed. The goal is to make an inference using the model, without jeopardizing the accuracy of the prediction or the privacy of the data. To achieve high accuracy, we use neural networks, which have been shown to outperform other learning models for many tasks. To achieve the privacy requirements, we use homomorphic encryption in the following protocol: the data owner encrypts the data and sends the ciphertexts to the third party to obtain a prediction from a trained model. The model operates on these ciphertexts and sends back the encrypted prediction. In this protocol, not only the data remains private, even the values predicted are available only to the data owner. Using homomorphic encryption and modifications to the activation functions and training algorithms of neural networks, we show that it is protocol is possible and may be feasible. This method paves the way to build a secure cloud-based neural network prediction services without invading users' privacy.

研究动机与目标

• 在不向云服务提供商暴露私密信息的情况下，实现对加密数据的安全机器学习推理。
• 通过允许神经网络在加密输入上运行，解决云环境中隐私与准确率之间的权衡问题。
• 开发一个使用同态加密实现神经网络私密部署的实用框架。
• 探索在现实约束条件下，对加密数据进行神经网络训练与微调的可行性。

提出的方法

• 使用全同态加密在不解密的情况下对加密数据执行计算。
• 采用多项式逼近非线性激活函数（例如ReLU、Sigmoid）以使其与同态加密兼容。
• 修改反向传播算法，以在加密权重和输入上计算损失函数的梯度。
• 应用一种部分同态加密方案，支持密文上的加法和乘法操作。
• 实现一种训练过程，通过低次多项式近似整个网络，以控制计算复杂度。
• 通过在密文空间中评估整个神经网络计算，实现对加密数据的推理。

实验结果

研究问题

• RQ1 是否可以在保护预测准确率和数据隐私的前提下，对加密数据中的神经网络进行评估？
• RQ2 在加密数据上执行反向传播和权重更新以进行模型训练是否可行？
• RQ3 如何使非线性激活函数适应同态加密的约束条件？
• RQ4 在当前同态加密方案下，对加密数据上的深度神经网络进行训练存在哪些实际限制？
• RQ5 在哪些现实场景中，Crypto-Nets可实际部署实现安全推理？

主要发现

• Crypto-Nets利用同态加密实现了对加密数据的安全推理，确保云环境或任何第三方均无法访问输入数据或预测结果。
• 通过使用激活函数的多项式逼近，使非线性神经网络能够在同态加密约束下对加密数据进行评估。
• Crypto-Nets的推理是可行且准确的，适用于医疗诊断和金融风险评估等隐私敏感应用。
• 由于网络深度增加导致多项式次数呈指数级增长，当前同态加密方案下对加密数据上的深度神经网络进行训练在计算上仍不可行。
• 对预训练模型在加密数据上进行微调在理论上是可行的，且可能适用于小样本数据集和浅层网络。
• 在加密密钥不同的情况下，可能需要使用安全多方计算来聚合数据，这为在隐私约束下实现协作学习提供了可行路径。