[論文レビュー] Security Analysis of Deep Neural Networks Operating in the Presence of Cache Side-Channel Attacks

Sanghyun Hong, Michael Davinroy+6 more|arXiv (Cornell University)|Oct 8, 2018

Adversarial Robustness in Machine Learning参考文献 31被引用数 54

ひとこと要約

この論文は DeepRecon を紹介します。キャッシュ側チャネルを用いて被害者 DNN と同一ホスト上に共置し、被害者のアーキテクチャを再構成しモデルファミリを指紋付け、単一フォワードパスから VGG19 と ResNet50 の正確な回復を実演し、偽の TinyNets を用いたフレームワークレベルの防御を提案します。

ABSTRACT

Recent work has introduced attacks that extract the architecture information of deep neural networks (DNN), as this knowledge enhances an adversary's capability to conduct black-box attacks against the model. This paper presents the first in-depth security analysis of DNN fingerprinting attacks that exploit cache side-channels. First, we define the threat model for these attacks: our adversary does not need the ability to query the victim model; instead, she runs a co-located process on the host machine victim's deep learning (DL) system is running and passively monitors the accesses of the target functions in the shared framework. Second, we introduce DeepRecon, an attack that reconstructs the architecture of the victim network by using the internal information extracted via Flush+Reload, a cache side-channel technique. Once the attacker observes function invocations that map directly to architecture attributes of the victim network, the attacker can reconstruct the victim's entire network architecture. In our evaluation, we demonstrate that an attacker can accurately reconstruct two complex networks (VGG19 and ResNet50) having observed only one forward propagation. Based on the extracted architecture attributes, we also demonstrate that an attacker can build a meta-model that accurately fingerprints the architecture and family of the pre-trained model in a transfer learning setting. From this meta-model, we evaluate the importance of the observed attributes in the fingerprinting process. Third, we propose and evaluate new framework-level defense techniques that obfuscate our attacker's observations. Our empirical security analysis represents a step toward understanding the DNNs' vulnerability to cache side-channel attacks.

研究の動機と目的

• 攻撃者が同一ホスト上で co-located し、キャッシュ側チャネルを介して共有 DNN フレームワークコードを監視するという脅威モデルを定義する。
• Flush+Reload 観察から被害者の DNN アーキテクチャを再構成する DeepRecon を開発する。
• 転移学習におけるアーキテクチャファミリと事前学習教師モデルの指紋を採取する能力をデモする。
• ハードウェアやOSの変更を要せず、観測を難しくする防御を評価する。

提案手法

• 共有DLフレームワーク（TensorFlow、PyTorch/Caffe2）にマッピングされた特定のフレームワーク関数を Flush+Reload で監視する。
• アーキテクチャ属性を推測するための関数の呼び出し列と回数を観察する（convs, fcs, relus, pools, merges, biases）。
• 観測された属性をマッピングして単一のフォワードパスおよび複数回のパスから全体のネットワークアーキテクチャ（例：VGG19、ResNet50）を再構成する。
• 抽出属性に基づくメタモデル（決定木）を訓練して、アーキテクチャファミリと転移学習での教師/学生モデルの関係を指紋付けする。
• 偽の TinyNets を実行して観測属性を難しくし、再構成誤差を増大させることでフレームワークレベルの防御を提案・評価する。

実験結果

リサーチクエスチョン

• RQ1 同一ホストに共置された攻撃者がキャッシュ側チャネルを使用して、モデルをクエリせずに被害者 DNN のアーキテクチャを再構成できるか。
• RQ2 ハードウェアレベルの観測から指紋付けする際、どのアーキテクチャ属性が最も有用で情報量が多いか？
• RQ3 観測された属性から攻撃者はアーキテクチャファミリや転移学習の教師モデルをどの程度まで指紋付けできるか？
• RQ4 ハードウェア変更を要しないフレームワークレベルの防御は、攻撃者によるアーキテクチャ再構成能力を効果的に低下させるか？

主な発見

• DeepRecon は単一のフォワード伝搬の観測から VGG19 と ResNet50 のアーキテクチャを高精度に再構成できる。
• 攻撃者は 13 個の CNN アーキテクチャを横断して 8 個のアーキテクチャ属性を高精度で抽出し、完全なアーキテクチャ再構成を可能にする。
• 抽出属性に基づくメタモデルは、転移学習におけるアーキテクチャファミリと教師モデルを高精度で指紋付けできる（分類タスクで100%と報告）。
• 指紋付けに重要な属性には、#relus、#merges、#convs、#apools がタスクとアーキテクチャ全体で含まれる。
• 偽の TinyNets を用いたフレームワークレベルの防御は、属性抽出を著しく劣化させ、ベースライン DeepRecon の誤り (~2.9) に対して数千の誤り (1283–2211) を生じさせる。
• 防御はハードウェアやOSの変更を必要とせず、一般的な DL フレームワークに統合可能。