[论文解读] CryptoNN: Training Neural Networks over Encrypted Data

Runhua Xu, James Joshi+1 more|arXiv (Cornell University)|Apr 15, 2019

Cryptography and Data Security参考文献 40被引用 9

一句话总结

CryptoNN 提出了一种新颖的框架，通过使用功能加密（functional encryption），直接在加密数据上训练深度神经网络，克服了以往同态加密和安全多方计算方法的局限性。该方法在 MNIST 数据集上实现了与明文模型相当的训练准确率，同时通过为算术运算量身定制的功能加密方案保护了数据隐私。

ABSTRACT

Emerging neural networks based machine learning techniques such as deep learning and its variants have shown tremendous potential in many application domains. However, they raise serious privacy concerns due to the risk of leakage of highly privacy-sensitive data when data collected from users is used to train neural network models to support predictive tasks. To tackle such serious privacy concerns, several privacy-preserving approaches have been proposed in the literature that use either secure multi-party computation (SMC) or homomorphic encryption (HE) as the underlying mechanisms. However, neither of these cryptographic approaches provides an efficient solution towards constructing a privacy-preserving machine learning model, as well as supporting both the training and inference phases. To tackle the above issue, we propose a CryptoNN framework that supports training a neural network model over encrypted data by using the emerging functional encryption scheme instead of SMC or HE. We also construct a functional encryption scheme for basic arithmetic computation to support the requirement of the proposed CryptoNN framework. We present performance evaluation and security analysis of the underlying crypto scheme and show through our experiments that CryptoNN achieves accuracy that is similar to those of the baseline neural network models on the MNIST dataset.

研究动机与目标

• 为解决在云环境等敏感用户数据上训练深度学习模型时面临的关键隐私风险。
• 克服现有隐私保护方法（如安全多方计算和同态加密）的局限性，这些方法要么不支持在加密数据上进行训练，要么效率低下。
• 在无需访问明文数据或模型参数的情况下，实现对加密数据的训练和推理。
• 设计并实现一种专为神经网络训练所需算术运算量身定制的功能加密方案。
• 在真实世界数据集（如 MNIST）上评估所提出的 CryptoNN 框架的保密性、准确率和性能。

提出的方法

• 该框架以功能加密（FE）作为核心密码学原 primitive，支持在不解密的情况下对加密数据进行计算。
• 构建了一种定制的功能加密方案，以支持神经网络反向传播中必需的基本算术运算（如加法、乘法）。
• 使用随机梯度下降（SGD）在加密数据上执行训练过程，梯度在加密域中计算并更新。
• 系统确保只有授权方（如数据所有者）能够解密最终模型，从而保护数据和模型参数的机密性。
• 实现利用现有的功能加密构造（如基于多输入功能加密或硬件辅助技术如 Intel SGX）以确保实用性。
• 在 MNIST 数据集上进行性能评估，使用两个训练周期和 64 的批量大小，将准确率和训练时间与基线模型进行比较。

实验结果

研究问题

• RQ1 能否使用功能加密在加密数据上直接训练神经网络，同时保持模型准确率？
• RQ2 使用功能加密在加密数据上训练的性能与在明文数据上训练相比如何？
• RQ3 所提出的功能加密方案在神经网络训练背景下提供了怎样的安全保证？
• RQ4 所提出的框架能否支持对加密数据的训练和推理阶段，而不仅仅是同态加密方法所支持的单一方面？
• RQ5 使用功能加密进行深度学习训练在实际可扩展性和效率方面存在哪些权衡？

主要发现

• CryptoNN 在 MNIST 数据集上实现了与基线神经网络模型在明文数据上训练时相当的测试准确率。
• 由于密码运算的计算开销，CryptoNN 的训练时间显著长于明文训练，但模型仍可训练。
• 功能加密方案支持在加密数据上进行安全计算，能够完整支持模型训练所需的反向传播过程。
• 该框架提供了强有力的隐私保障，确保云服务提供商或任何不受信方都无法访问明文数据或模型参数。
• 安全分析表明，该方案能够抵御已知攻击，并在整个训练生命周期中保持数据机密性。
• 结果表明，功能加密是同态加密和安全多方计算在隐私保护深度学习方面的一种可行替代方案。