[論文レビュー] Hermes Attack: Steal DNN Models with Lossless Inference Accuracy

Yuankun Zhu, Yueqiang Cheng+2 more|arXiv (Cornell University)|Jun 23, 2020

Adversarial Robustness in Machine Learning参考文献 43被引用数 36

ひとこと要約

Hermes Attack は、暗号化されていない PCIe トラフィックを盗聴することにより被害者 DNN モデルを完全に再構成する二段階のブラックボックス手法であり、損失のない推論精度を実現します。

ABSTRACT

Deep Neural Networks (DNNs) models become one of the most valuable enterprise assets due to their critical roles in all aspects of applications. With the trend of privatization deployment of DNN models, the data leakage of the DNN models is becoming increasingly serious and widespread. All existing model-extraction attacks can only leak parts of targeted DNN models with low accuracy or high overhead. In this paper, we first identify a new attack surface -- unencrypted PCIe traffic, to leak DNN models. Based on this new attack surface, we propose a novel model-extraction attack, namely Hermes Attack, which is the first attack to fully steal the whole victim DNN model. The stolen DNN models have the same hyper-parameters, parameters, and semantically identical architecture as the original ones. It is challenging due to the closed-source CUDA runtime, driver, and GPU internals, as well as the undocumented data structures and the loss of some critical semantics in the PCIe traffic. Additionally, there are millions of PCIe packets with numerous noises and chaos orders. Our Hermes Attack addresses these issues by huge reverse engineering efforts and reliable semantic reconstruction, as well as skillful packet selection and order correction. We implement a prototype of the Hermes Attack, and evaluate two sequential DNN models (i.e., MINIST and VGG) and one consequential DNN model (i.e., ResNet) on three NVIDIA GPU platforms, i.e., NVIDIA Geforce GT 730, NVIDIA Geforce GTX 1080 Ti, and NVIDIA Geforce RTX 2080 Ti. The evaluation results indicate that our scheme is able to efficiently and completely reconstruct ALL of them with making inferences on any one image. Evaluated with Cifar10 test dataset that contains 10,000 images, the experiment results show that the stolen models have the same inference accuracy as the original ones (i.e., lossless inference accuracy).

研究の動機と目的

• プライベート展開における暗号化されていない PCIe トラフィック経由の DNN モデル漏洩の新たな攻撃表面を特定する。
• Hermes Attack を提案し、アーキテクチャ、ハイパーパラメータ、パラメータを含む被害者 DNN モデルを完全に再構成する。
• 複数のモデルタイプを有する実機 GPU プラットフォーム上で実装・評価することにより実用性を示す。
• 再構成されたモデルが標準データセット上で元の推論精度を維持することを示す。

提案手法

• Offline フェーズは、GPU コマンドヘッダのリバースエンジニアリング、カーネルとレイヤーの対応、カーネルとハイパーパラメータオフセットの構築により知識データベースを構築します。
• Online フェーズは、傍受した PCIe トラフィックを用いて、コマンドのフィルタリング、カーネルバイナリの特定、データフローグラフの組み立てによって完全な DNN モデルを再構成します。
• Profiling 中に K コマンド（カーネル起動）と D コマンド（データ移動）を相関付けることによってカーネルバイナリを特定します。
• セマンティック再構成は、GPU カーネルをレイヤータイプに結びつけ、カーネル引数からハイパーパラメータを抽出します。
• モデル再構成は、コマンドのエッジからデータフローグラフを構築し、知識ベースを用いてカーネルを対応する DNN レイヤーに置き換えます。
• パラメータは D および K/D2D コマンドから回収され、大容量・非同期データ転送の処理を含みます。）

実験結果

リサーチクエスチョン

• RQ1 暗号化されていない PCIe トラフィックを悪用して、 privatization 展開において被害者 DNN モデル（アーキテクチャ、ハイパーパラメータ、パラメータ）を完全に再構成することは可能ですか？
• RQ2 実GPU上で、再構成されたモデルが逐次・非逐次アーキテクチャを問わず損失のない推論精度を達成することは可能ですか？
• RQ3 GPU コマンドを DNN コンポーネントとパラメータに対応付けるために、どのような実践的手順とリバースエンジニアリング手法が必要ですか？
• RQ4 単一の推論インスタンスから完全なモデルがどれくらいの速さで盗まれますか？

主な発見

• Hermes Attack は、アーキテクチャ、ハイパーパラメータ、パラメータを含む被害者モデルを完全に再構成できます。
• 盗用されたモデルは損失のない推論精度を達成し、元のモデルと同等の精度を 10,000 CIFAR-10/類似のテスト画像で示します。
• 3台の NVIDIA GPU プラットフォーム（GT 730、GTX 1080 Ti、RTX 2080 Ti）で MNIST、VGG、ResNet モデルを用いてデモンストレーションしました。
• 単一画像推論からの再構成は 5–17 分で完了します。
• 回収された PCIe パケットのうち再構成に有用なのは約 1–2%、残りはノイズとして扱われます。
• オフライン知識ベース構築とオンライントラフィック駆動再構成の二段階プロセスが、完全なモデル盗難を可能にします。