[论文解读] GOAT: GPU Outsourcing of Deep Learning Training With Asynchronous Probabilistic Integrity Verification Inside Trusted Execution Environment

Aref Asvadishirehjini, Murat Kantarcıoğlu+1 more|arXiv (Cornell University)|Oct 17, 2020

Adversarial Robustness in Machine Learning参考文献 47被引用 7

一句话总结

GOAT 是一种用于安全、外包深度学习训练的新型框架，结合了可信执行环境（TEE）内的异步概率验证与自适应超参数调优，以确保模型完整性。通过随机验证关键计算步骤并利用严格剪枝约束梯度更新，GOAT 在保持与纯 TEE 解决方案相当的完整性保障的同时，实现了 2X–20X 的性能提升，并能以 99.9% 的概率检测到最先进的后门攻击。

ABSTRACT

Machine learning models based on Deep Neural Networks (DNNs) are increasingly deployed in a wide range of applications ranging from self-driving cars to COVID-19 treatment discovery. To support the computational power necessary to learn a DNN, cloud environments with dedicated hardware support have emerged as critical infrastructure. However, there are many integrity challenges associated with outsourcing computation. Various approaches have been developed to address these challenges, building on trusted execution environments (TEE). Yet, no existing approach scales up to support realistic integrity-preserving DNN model training for heavy workloads (deep architectures and millions of training examples) without sustaining a significant performance hit. To mitigate the time gap between pure TEE (full integrity) and pure GPU (no integrity), we combine random verification of selected computation steps with systematic adjustments of DNN hyper-parameters (e.g., a narrow gradient clipping range), hence limiting the attacker's ability to shift the model parameters significantly provided that the step is not selected for verification during its training phase. Experimental results show the new approach achieves 2X to 20X performance improvement over pure TEE based solution while guaranteeing a very high probability of integrity (e.g., 0.999) with respect to state-of-the-art DNN backdoor attacks.

研究动机与目标

• 解决大规模 DNN 训练中全 TEE 方案的可扩展性与性能瓶颈问题。
• 在云基础设施不可信的情况下，确保 GPU 加速训练过程中的模型完整性。
• 在不牺牲强完整性保证的前提下，降低可信执行的性能开销。
• 在硬件信任度最低的云环境中，实现实用、可审计且可复现的 DNN 训练。

提出的方法

• 利用 TEE 管理小批量选择、随机数生成与参数初始化。
• 将所有前向与反向传播操作卸载至 GPU，而 TEE 仅对选定的计算步骤进行概率性验证。
• 通过随机验证部分随机梯度下降（SGD）步骤，以高概率检测恶意偏差。
• 采用系统化的超参数调优，特别是采用狭窄的梯度剪枝范围，以限制每步的最大参数偏移。
• 利用 Freivalds 方案的概率完整性验证机制，在 TEE 中验证矩阵乘法与梯度更新。
• 设计混合架构，由 GPU 承担大部分训练工作负载，TEE 作为轻量级完整性监控器。

实验结果

研究问题

• RQ1 在大规模 DNN 训练中，对选定训练步骤进行随机验证，是否能在显著降低 TEE 开销的同时维持高完整性保障？
• RQ2 收紧梯度剪枝对单步后门攻击在 GPU 外包训练中的可行性与可检测性有何影响？
• RQ3 在不损害完整性保障的前提下，性能相比纯 TEE 训练方案可提升至何种程度？
• RQ4 哪些超参数配置（如初始学习率、剪枝范围）能最大限度地降低攻击者在不被察觉的情况下操纵模型参数的能力？
• RQ5 在真实训练条件下，该方法对最先进的后门攻击的防御效果如何？

主要发现

• GOAT 在训练深度神经网络时，相比纯 TEE 解决方案，性能提升达 2X 至 20X。
• 该框架即使在复杂攻击条件下，也能以高达 0.999 的概率检测到后门攻击。
• 严格的梯度剪枝（例如剪枝范围为 0.1）可限制每步的最大参数偏移，迫使攻击者必须发起多次协同更改才能成功。
• 对于 MNIST 数据集，由于收敛速度快，早期攻击更有效，但模型仍可通过概率验证被检测到。
• 当污染样本比例超过 0.5 时，攻击成功率显著下降，尤其在 GTSRB 等复杂数据集上表现明显。
• 随机验证与超参数强化相结合，能有效遏制单步攻击，并显著缩短攻击者的机会窗口。