[论文解读] AsymML: An Asymmetric Decomposition Framework for Privacy-Preserving DNN Training and Inference

Yue Niu, Ramy E. Ali+1 more|arXiv (Cornell University)|Oct 4, 2021

Privacy-Preserving Technologies in Data参考文献 25被引用 4

一句话总结

AsymML 提出了一种非对称分解框架，将深度神经网络模型划分为可信（隐私敏感）部分和不可信（计算密集）部分，前者卸载到可信执行环境（TEEs）中执行，后者则卸载到不可信的 GPU 上。该方法在保持隐私安全的同时，通过利用特征中的低秩特性，使推理速度提升 11.2 倍，训练速度提升 7.6 倍，显著优于仅使用 TEE 的执行方式。

ABSTRACT

Leveraging parallel hardware (e.g. GPUs) to conduct deep neural network (DNN) training/inference, though significantly speeds up the computations, raises several data privacy concerns. Trusted execution environments (TEEs) have emerged as a promising solution to enable privacy-preserving inference and training. TEEs, however, have limited memory and computation resources which renders it not comparable to untrusted parallel hardware in performance. To mitigate the trade-off between privacy and computing performance, we propose an asymmetric model decomposition framework, AsymML, to (1) accelerate training/inference using parallel hardware; and (2) preserve privacy using TEEs. By exploiting the low-rank characteristics in data and intermediate features, AsymML asymmetrically splits a DNN model into trusted and untrusted parts: the trusted part features privacy-sensitive data but incurs small compute/memory costs; while the untrusted part is computationally-intensive but not privacy-sensitive. Computing performance and privacy are guaranteed by respectively delegating the trusted and untrusted part to TEEs and GPUs. Furthermore, we present a theoretical rank bound analysis showing that low-rank characteristics are still preserved in intermediate features, which guarantees efficiency of AsymML. Extensive evaluations on DNN models shows that AsymML delivers $11.2 imes$ speedup in inference, $7.6 imes$ in training compared to the TEE-only executions.

研究动机与目标

• 解决仅依赖可信执行环境（TEEs）时隐私保护型 DNN 训练与推理中的性能瓶颈问题，因为 TEE 的内存和计算资源有限。
• 通过将 DNN 模型非对称地划分为可信与不可信组件，克服隐私与计算效率之间的权衡。
• 利用数据和中间特征中的低秩特性，确保可信组件保持小型且高效，同时维持模型精度。
• 通过将不可信的、计算密集的部分卸载到不可信的并行硬件（如 GPU）上，实现高性能的 DNN 推理与训练，同时借助 TEE 保护数据隐私。
• 从理论上和实证上验证中间特征中的低秩特性得以保留，从而支持高效且安全的模型分解。

提出的方法

• 将 DNN 非对称地分解为两部分：可信组件存储并执行于 TEE 中，不可信组件在不可信的并行硬件（如 GPU）上执行。
• 利用输入数据和中间特征图中的低秩特性，最小化可信组件的大小和计算成本。
• 设计分解方式，使隐私敏感的权重和激活值被限制在 TEE 内，而大部分计算则卸载至不可信硬件。
• 应用理论秩界分析，证明深度网络中的中间特征保持低秩结构，从而确保分解的可行性和效率。
• 设计一个训练与推理流水线，实现 TEE 与不可信硬件之间的计算同步，最小化通信开销并保持模型精度。
• 采用混合执行模型，其中可信部分执行隐私关键操作（如敏感权重更新），不可信部分加速大规模矩阵运算。

实验结果

研究问题

• RQ1 能否利用数据和中间特征中的低秩特性，实现高效且安全的隐私保护型 DNN 模型分解？
• RQ2 通过将 DNN 中计算密集的部分卸载到不可信 GPU 上，同时将隐私敏感组件保留在 TEE 中，性能可提升到何种程度？
• RQ3 在多层之后，中间特征的低秩结构是否仍能保持，从而实现有效分解且不造成显著精度损失？
• RQ4 深度网络中中间特征的秩存在何种理论边界？该边界如何支持高效非对称分解框架的设计？
• RQ5 与仅使用 TEE 的执行方式相比，AsymML 在推理和训练速度方面的性能提升如何？

主要发现

• AsymML 通过将大部分计算卸载至不可信 GPU，相比仅使用 TEE 的执行方式，实现了 DNN 推理 11.2 倍的加速。
• 该框架在 DNN 训练方面相比 TEE 仅执行方式实现了 7.6 倍的加速，显著提升了性能，同时未牺牲隐私保障。
• 理论分析证实，中间特征中的低秩特性得以保留，从而为非对称分解方法的高效性提供了理论依据。
• AsymML 中的可信组件计算与内存开销极低，使其能够在 TEE 的有限资源下高效运行。
• 在 DNN 模型上的实证评估表明，AsymML 在大幅减少隐私敏感工作负载执行时间的同时，仍能保持高模型精度。
• 该框架通过将敏感操作隔离在 TEE 中、将非敏感操作加速于不可信硬件上，有效解耦了隐私与性能的关切。