[論文レビュー] EZClone: Improving DNN Model Extraction Attack via Shape Distillation from GPU Execution Profiles

Jonah O’Brien Weiss, Tiago M. Alves+1 more|arXiv (Cornell University)|Apr 6, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

EZCloneは、3つの経験的に同定されたGPUカーネル特徴量のみを用いて、100%の正確さで被害者の深層ニューラルネットワークのアーキテクチャを予測する、新規で軽量なDNNモデル抽出攻撃である。従来の手法とは異なり、時系列プロファイリングや強力な敵対者能力に依存しないため、実世界のサイドチャネル脅威に対して非常に効果的かつ実用的である。

ABSTRACT

Deep Neural Networks (DNNs) have become ubiquitous due to their performance on prediction and classification problems. However, they face a variety of threats as their usage spreads. Model extraction attacks, which steal DNNs, endanger intellectual property, data privacy, and security. Previous research has shown that system-level side-channels can be used to leak the architecture of a victim DNN, exacerbating these risks. We propose two DNN architecture extraction techniques catering to various threat models. The first technique uses a malicious, dynamically linked version of PyTorch to expose a victim DNN architecture through the PyTorch profiler. The second, called EZClone, exploits aggregate (rather than time-series) GPU profiles as a side-channel to predict DNN architecture, employing a simple approach and assuming little adversary capability as compared to previous work. We investigate the effectiveness of EZClone when minimizing the complexity of the attack, when applied to pruned models, and when applied across GPUs. We find that EZClone correctly predicts DNN architectures for the entire set of PyTorch vision architectures with 100% accuracy. No other work has shown this degree of architecture prediction accuracy with the same adversarial constraints or using aggregate side-channel information. Prior work has shown that, once a DNN has been successfully cloned, further attacks such as model evasion or model inversion can be accelerated significantly.

研究の動機と目的

• 知的財産権やデータプライバシーを脅かすDNNモデル抽出攻撃の増大する脅威に対処すること。
• GPU実行プロファイルからのシステムレベルのサイドチャネルを活用して、DNNアーキテクチャを低負荷で抽出する実用的な手法を開発すること。
• 時系列データ、大規模な候補集合、または強力な敵対者仮定に依存する従来の手法の制限を克服すること。
• 剪定済みモデルや異なるGPUプラットフォームへの展開を含む、多様なモデルにおいても高い正確さでアーキテクチャ予測が可能であることを示すこと。
• 悪意あるライブラリで1回のコード変更のみで可能となるPyTorchパーサーを介して、アーキテクチャ漏洩れを引き起こす新たな攻撃表面を明らかにすること。

提案手法

• EZCloneは、PyTorchプロファイラー出力から集約されたGPUカーネル特徴量を抽出し、ノイズを低減するためメモリ関連でないカーネルに焦点を当てる。
• ランダムフォレストモデルに対して再帰的特徴量除去を適用し、アーキテクチャ予測に最も特徴的な3つのGPUカーネル特徴量を同定する。
• これらの特徴量を用いてベイジアンアーキテクチャ予測モデルを訓練し、高い正確さでDNNアーキテクチャを分類する。
• 高レベルのレイヤー型やハイパーパrameterをGPUカーネル呼び出しにマッピングするカスタムPyTorchパーサーを開発し、プロファイルから直接アーキテクチャ再構築を可能にする。
• 1つのアーキテクチャあたり1つのプロファイルのみを用いて、36種類のPyTorchビジョンアーキテクチャ（剪定済みモデルや異なるGPUプラットフォームを含む）で評価を実施する。
• 攻撃は拡張可能に設計されており、新しいアーキテクチャを追加するには最小限の作業で可能であり、1つのプロファイルと1分未満の処理時間で十分である。

Figure 1: GPU kernel feature values for all 36 PyTorch vision architectures by architecture family. Values are averaged over 50 profiles and normalized. The features are ranked from the set of non-memory related GPU kernels using Recursive Feature Elimination on a Random Forest model, which achieves

実験結果

リサーチクエスチョン

• RQ1 時系列データや強力な敵対者能力に依存せず、集約されたGPU実行プロファイルのみで、正確なDNNアーキテクチャ予測が可能か？
• RQ2 EZCloneは、剪定済みモデルや異なるGPUプラットフォームを含む多様なDNNアーキテクチャにおいて、どのように性能を発揮するか？
• RQ3 3つのGPUカーネル特徴量（最小限）で100%のアーキテクチャ予測正確さを達成できるか？
• RQ4 再トレーニングの最小限の努力で、新しいモデルにEZCloneをどの程度拡張できるか？
• RQ5 1回のコード変更で悪意あるライブラリに組み込むことにより、PyTorchパーサーがアーキテクチャ漏洩れを引き起こす可能性をどのように示せるか？

主な発見

• EZCloneは、Torchvision v0.10.0に含まれる36種類のすべてのPyTorchビジョンアーキテクチャを、わずか3つのGPUカーネル特徴量のみで100%の正確さで予測した。
• 剪定済みモデルに適用しても100%の正確さを維持しており、アーキテクチャの変更に対して強い耐性を示した。
• EZCloneはクロスGPUで100%の正確さを達成しており、異なるGPUプラットフォーム間での一般化能力が非常に高いことを示した。
• 攻撃を弱体化させた場合でも、小さな候補集合でのベイジアンアーキテクチャ予測モデルは72%を超えるクロスGPU正確さに達した。
• PyTorchパーサーは、プロファイラー出力からDNNアーキテクチャを正常に再構築でき、悪意あるライブラリで1回のコード変更のみでアーキテクチャ漏洩れを引き起こす新たな攻撃表面を特定した。
• 未確認のDNNアーキテクチャの予測モデルをトレーニングするには、1つのプロファイルで十分であり、1分未満で処理が完了する。

Figure 2: EZClone attack framework.