[論文レビュー] Stealing Neural Networks via Timing Side Channels

Vasisht Duddu, Debasis Samanta+2 more|arXiv (Cornell University)|Dec 31, 2018

Adversarial Robustness in Machine Learning参考文献 47被引用数 89

ひとこと要約

本論文は、実行時間からニューラルネットワークの深さを推定するブラックボックスのタイミングサイドチャネル攻撃を示し、その後、近似対象と同等の精度をほぼ達成する置換アーキテクチャを探索するための強化学習を用いる。 CIFAR-10 上の VGG-ライクなモデルで実証。

ABSTRACT

Deep learning is gaining importance in many applications. However, Neural Networks face several security and privacy threats. This is particularly significant in the scenario where Cloud infrastructures deploy a service with Neural Network model at the back end. Here, an adversary can extract the Neural Network parameters, infer the regularization hyperparameter, identify if a data point was part of the training data, and generate effective transferable adversarial examples to evade classifiers. This paper shows how a Neural Network model is susceptible to timing side channel attack. In this paper, a black box Neural Network extraction attack is proposed by exploiting the timing side channels to infer the depth of the network. Although, constructing an equivalent architecture is a complex search problem, it is shown how Reinforcement Learning with knowledge distillation can effectively reduce the search space to infer a target model. The proposed approach has been tested with VGG architectures on CIFAR10 data set. It is observed that it is possible to reconstruct substitute models with test accuracy close to the target models and the proposed approach is scalable and independent of type of Neural Network architectures.

研究の動機と目的

• サービスとして展開されるニューラルネットワークがモデル抽出のリスクにさらされる理由を動機づける。
• 実行時間がネットワーク深さと相関することを示し、ブラックボックス環境で深さ推定を可能にする。
• 2段階の攻撃を提案する: 回帰器で深さを推定し、次に RL に基づくニューラルアーキテクチャ探索を実施して近似代替モデルを再構築する。
• VGG風のターゲットを用いた CIFAR-10 で、代替モデルがターゲットと比較して小さな差分でテスト精度を達成できることを示す。

提案手法

• ニューラルネットワークの総実行時間は、深さや他のハイパーパラメータがアーキテクチャを超えて関数であることを示す。
• 固定ハードウェア上で多数のネットワークのタイミングデータを収集し、時間を深さへ対応付ける回帰器を訓練する。
• 観測された時間からターゲット深さを予測する回帰器（RF/BDT は線形モデルより性能が良い）を用いる。
• 推定された深さに制約したアーキテクチャ探索を行い、蒸留を用いた RL ベースのニューラルアーキテクチャ探索で置換精度を最大化する。
• ターゲットからの知識蒸留を用いて代替モデルを訓練し、ターゲットの出力を模倣する。
• 最終的な代替モデルがターゲットとほぼ同等のテスト精度を達成することを示す（約5%程度の差内）

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス攻撃者はタイミングサイドチャネルを用いて、ターゲットのニューラルネットワークの深さ（層数）を信頼性高く推定できるか。
• RQ2 推定深さで制約された RL ベースのアーキテクチャ探索は、ターゲットに近いテスト精度を持つ代替モデルを生み出せるか。
• RQ3 タイミングデータからの深さ推定におけるさまざまな回帰モデルの有効性はどの程度か。
• RQ4 この攻撃は一般的な CNN アーキテクチャ（例: VGG-風、ResNet）およびデータセット（CIFAR-10）に対してスケール可能か。

主な発見

再構築されたアーキテクチャ	パラメータ	実行時間	予測深さ RF	予測深さ BDT	実深度
Model 1	[32(3), 32(3), MP, 64(3), 64(3), MP, 128(3), 128(3), MP]	309,290	0.036057	8.8 (RF); 8.1 (BDT)	9
Model 2	[32(3), 32(3), MP, 64(3), 64(3), MP, 128(3), 128(3), MP, 256(3), MP]	595,242	0.10738	10.15 (RF); 10.02 (BDT)	11
Model 3	[32(3), 32(3), MP, 64(3), 64(3), MP, 128(3), 128(3), 128(3), MP, 256(3), 256(3), MP]	1,334,442	0.18594	12.8 (RF); 12.6 (BDT)	13

• タイミングサイドチャネルは構造情報を明らかにする: ネットワークの深さは総実行時間と相関する。
• タイミングデータで訓練された回帰モデルはターゲットの深さを推定できる。アンサンブル回帰（Random Forest、Boosted DT）は線形モデルを上回る。
• 深さ制約空間内での RL ベースのアーキテクチャ探索は、CIFAR-10 でターゲットとほぼ同等のテスト精度（5%以内）を持つ代替モデルを生み出せる。
• この攻撃は深さを推定するために一定回数のクエリを用いるため、ブラックボックスの MLaaS 環境で効率的である。
• 知識蒸留を用いて代替モデルをターゲットの予測を模倣させ、モデル間の類似性を高める。
• VGG風ターゲットでの実験は、再構築されたモデルがターゲット性能に近いことを示している。