[论文解读] DarKnight: A Data Privacy Scheme for Training and Inference of Deep Neural Networks

Hanieh Hashemi, Yongqin Wang+1 more|arXiv (Cornell University)|Jun 1, 2020

Adversarial Robustness in Machine Learning参考文献 57被引用 14

一句话总结

DarKnight 提出了一种混合 TEE-GPU 框架，通过在 Intel SGX 内使用矩阵掩码来隐藏输入数据，从而实现深度神经网络的隐私保护训练与推理，同时将计算密集型的线性操作卸载到不受信任的 GPU 上。该框架提供了信息论级别的隐私保障，证明了每兆像素输入的信息泄露上限为 1 比特，相较于纯 TEE 执行实现了 10 倍以上的加速，且未牺牲模型准确性。

ABSTRACT

Protecting the privacy of input data is of growing importance as machine learning methods reach new application domains. In this paper, we provide a unified training and inference framework for large DNNs while protecting input privacy and computation integrity. Our approach called DarKnight uses a novel data blinding strategy using matrix masking to create input obfuscation within a trusted execution environment (TEE). Our rigorous mathematical proof demonstrates that our blinding process provides information-theoretic privacy guarantee by bounding information leakage. The obfuscated data can then be offloaded to any GPU for accelerating linear operations on blinded data. The results from linear operations on blinded data are decoded before performing non-linear operations within the TEE. This cooperative execution allows DarKnight to exploit the computational power of GPUs to perform linear operations while exploiting TEEs to protect input privacy. We implement DarKnight on an Intel SGX TEE augmented with a GPU to evaluate its performance.

研究动机与目标

• 为医疗、金融和自动驾驶系统等领域的深度学习日益增长的数据隐私需求提供解决方案。
• 解决因 CPU 计算能力和内存受限，导致在可信执行环境（TEEs）中运行整个 DNN 所带来的性能瓶颈问题。
• 在保留输入隐私的前提下，实现使用浮点数运算的安全、高效且准确的深度神经网络训练。
• 为隐私保护的深度学习框架中的信息泄露提供严格的数学边界。
• 设计一种混合执行模型，利用 TEE 保障隐私，利用 GPU 提升性能，且无需依赖可信服务器或模型量化。

提出的方法

• 通过加法噪声实现矩阵掩码，以在 Intel SGX 信封内隐藏输入数据，利用信息论保证确保输入隐私。
• 使用掩码后的输入将线性操作（如卷积、矩阵乘法）卸载到不受信任的 GPU 上，计算过程中保持隐私。
• 在 GPU 计算结果解码后，仅在 SGX 信封内执行非线性操作（ReLU、最大池化）。
• 采用协作执行模型，模型参数和掩蔽因子在信封内安全管理，使用预计算的 W·r 项进行解码。
• 通过严谨的数学证明，基于噪声方差和掩蔽参数界定信息泄露，即使在敌手计算能力无限制的情况下也能确保隐私。
• 支持全精度浮点数训练（包括 bfloat16），无需量化，可与标准 DNN 框架兼容。

实验结果

研究问题

• RQ1 混合 TEE-GPU 架构能否在 DNN 训练与推理中同时实现强隐私保障与高性能？
• RQ2 在使用加法掩码的隐私保护深度学习系统中，如何对信息泄露进行数学上的边界界定？
• RQ3 能否在不依赖量化模型的前提下，安全支持隐私保护 DNN 框架中的浮点数运算？
• RQ4 在基于 TEE 的系统中，能在多大程度上利用 GPU 加速而不损害输入隐私？
• RQ5 是否可能设计一种系统，在保证数据机密性的前提下，以最小性能开销支持训练与推理？

主要发现

• DarKnight 即使在敌手计算能力无限制的情况下，也能实现每兆像素输入图像的信息泄露上限为 1 比特的可证明上界。
• 该系统在 ImageNet 上对 VGG16 的纯 SGX 训练实现了 120 倍的加速，且相较于纯 TEE 执行，DarKnight 实现了超过 10 倍的加速。
• 该框架支持全精度浮点数训练（包括 bfloat16），无需量化，保持了模型准确性，并与标准深度学习流水线兼容。
• 通过将线性操作卸载至 GPU，仅在信封内执行非线性操作，DarKnight 降低了 TEE 上的性能瓶颈，同时维持了强隐私保障。
• 该系统可通过数据并行化实现分布式训练，因为多个 SGX 信封可独立地为分离的 GPU 盲化输入，适用于去耦合的云架构。
• 与先前工作如 Slalom 相比，DarKnight 通过消除预计算并存储 W·r 项的需求而实现优势，后者在训练过程中因权重动态更新而不可行。