[论文解读] EZClone: Improving DNN Model Extraction Attack via Shape Distillation from GPU Execution Profiles

Jonah O’Brien Weiss, Tiago M. Alves+1 more|arXiv (Cornell University)|Apr 6, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

EZClone 是一种新颖的轻量级 DNN 模型提取攻击方法，利用聚合 GPU 执行特征，仅通过三个经验识别出的 GPU 内核特征，即可以 100% 的准确率预测受害者深度神经网络的架构。与以往方法不同，它不依赖时间序列分析或强大的对手能力，因此在现实世界中的侧信道威胁下具有高度有效性和实用性。

ABSTRACT

Deep Neural Networks (DNNs) have become ubiquitous due to their performance on prediction and classification problems. However, they face a variety of threats as their usage spreads. Model extraction attacks, which steal DNNs, endanger intellectual property, data privacy, and security. Previous research has shown that system-level side-channels can be used to leak the architecture of a victim DNN, exacerbating these risks. We propose two DNN architecture extraction techniques catering to various threat models. The first technique uses a malicious, dynamically linked version of PyTorch to expose a victim DNN architecture through the PyTorch profiler. The second, called EZClone, exploits aggregate (rather than time-series) GPU profiles as a side-channel to predict DNN architecture, employing a simple approach and assuming little adversary capability as compared to previous work. We investigate the effectiveness of EZClone when minimizing the complexity of the attack, when applied to pruned models, and when applied across GPUs. We find that EZClone correctly predicts DNN architectures for the entire set of PyTorch vision architectures with 100% accuracy. No other work has shown this degree of architecture prediction accuracy with the same adversarial constraints or using aggregate side-channel information. Prior work has shown that, once a DNN has been successfully cloned, further attacks such as model evasion or model inversion can be accelerated significantly.

研究动机与目标

• 解决日益增长的 DNN 模型提取攻击威胁，此类攻击会损害知识产权和数据隐私。
• 开发一种实用且低开销的方法，利用 GPU 执行特征中的系统级侧信道信息提取 DNN 架构。
• 克服以往方法依赖时间序列数据、大规模候选集或强敌手假设的局限性。
• 在多种模型上展示高精度的架构预测能力，包括剪枝模型和跨 GPU 部署的模型。
• 通过一个 PyTorch 解析器揭示新的攻击面，使攻击者仅通过在恶意库中修改一行代码即可实现架构泄露。

提出的方法

• EZClone 从 PyTorch 分析器输出中提取聚合 GPU 内核特征值，重点关注非内存相关内核，以减少噪声影响。
• 在随机森林模型上应用递归特征消除，识别出对架构预测最具区分性的前三个 GPU 内核特征。
• 基于这些特征训练一个贝叶斯架构预测模型，以实现高精度的 DNN 架构分类。
• 开发了一个自定义的 PyTorch 解析器，用于将高层层类型和超参数映射到 GPU 内核调用，从而实现从性能特征中直接重建架构。
• 该方法在 36 个 PyTorch 视觉架构上进行了评估，包括剪枝模型和不同 GPU 平台，每个架构仅使用一个性能特征进行训练。
• 该攻击方法设计具有可扩展性：新增架构仅需极少工作量，仅需一个性能特征和不到一分钟的处理时间。

Figure 1: GPU kernel feature values for all 36 PyTorch vision architectures by architecture family. Values are averaged over 50 profiles and normalized. The features are ranked from the set of non-memory related GPU kernels using Recursive Feature Elimination on a Random Forest model, which achieves

实验结果

研究问题

• RQ1 仅依靠聚合 GPU 执行特征，是否可以在不使用时间序列数据或强敌手能力的前提下，实现准确的 DNN 架构预测？
• RQ2 EZClone 在多种 DNN 架构上的表现如何，包括剪枝模型和不同 GPU 平台？
• RQ3 是否仅使用极少数 GPU 内核特征（最少三个）即可实现 100% 的架构预测准确率？
• RQ4 EZClone 在新增模型上可扩展到何种程度，且重新训练工作量极小？
• RQ5 使用 PyTorch 解析器是否可通过仅修改一行代码的恶意库，实现架构泄露？

主要发现

• EZClone 仅使用三个 GPU 内核特征，即可对 Torchvision v0.10.0 中全部 36 个 PyTorch 视觉架构实现 100% 的预测准确率。
• 该方法在剪枝模型上仍保持 100% 的准确率，表明其对架构修改具有强鲁棒性。
• EZClone 在跨 GPU 场景下实现 100% 的准确率，表明其在不同 GPU 平台间具有强大的泛化能力。
• 即使在攻击被削弱为较小候选集的情况下，贝叶斯架构预测模型的跨 GPU 准确率仍超过 72%。
• PyTorch 解析器成功从性能分析输出中重建了 DNN 架构，揭示了通过仅一行代码修改的恶意库实现架构泄露的新攻击面。
• 为之前未见过的 DNN 架构训练新的预测模型，仅需一个性能特征，且处理时间不足一分钟。

Figure 2: EZClone attack framework.