[論文レビュー] Cache Telepathy: Leveraging Shared Resource Attacks to Learn DNN Architectures

Mengjia Yan, Christopher W. Fletcher+1 more|arXiv (Cornell University)|Aug 14, 2018

Adversarial Robustness in Machine Learning参考文献 35被引用数 44

ひとこと要約

この論文は Cache Telepathy を紹介します。これは、BLAS ライブラリの GEMM パラメータをハイパーパラメータに対応づけて推定するキャッシュのサイドチャネル攻撃で、DNN アーキテクチャの探索空間を大幅に絞り込みます。

ABSTRACT

Deep Neural Networks (DNNs) are fast becoming ubiquitous for their ability to attain good accuracy in various machine learning tasks. A DNN's architecture (i.e., its hyper-parameters) broadly determines the DNN's accuracy and performance, and is often confidential. Attacking a DNN in the cloud to obtain its architecture can potentially provide major commercial value. Further, attaining a DNN's architecture facilitates other, existing DNN attacks. This paper presents Cache Telepathy: a fast and accurate mechanism to steal a DNN's architecture using the cache side channel. Our attack is based on the insight that DNN inference relies heavily on tiled GEMM (Generalized Matrix Multiply), and that DNN architecture parameters determine the number of GEMM calls and the dimensions of the matrices used in the GEMM functions. Such information can be leaked through the cache side channel. This paper uses Prime+Probe and Flush+Reload to attack VGG and ResNet DNNs running OpenBLAS and Intel MKL libraries. Our attack is effective in helping obtain the architectures by very substantially reducing the search space of target DNN architectures. For example, for VGG using OpenBLAS, it reduces the search space from more than $10^{35}$ architectures to just 16.

研究の動機と目的

• MLaaS におけるアーキテクチャ漏洩リスクと DNN ハイパーパラメータが貴重なターゲットである理由を動機づける。
• DNN 推論がタイル化された GEMM 演算に対応し、そのパラメータがアーキテクチャの詳細を明らかにする。
• 一般目的CPU 上で DNN アーキテクチャを回復するキャッシュベースのサイドチャネル攻撃を実証する。
• ハイパーパラメータを GEMM パラメータへマッピングする方法論を提供し、アーキテクチャ発見の探索空間を絞り込む。

提案手法

• DNN のレイヤ型（全結合と畳み込み）が GEMM の行列サイズとブロックへどのように対応するかを分析する。
• Prime+Probe と Flush+Reload を用いて GEMM 実行を監視し、BLAS 実装から m, n, k を抽出する Cache Telepathy 攻撃を開発する。
• ハイパーパラメータと行列パラメータの間のマッピングを用いてアーキテクチャを逆推定する。
• 層間接続（ショートカット/ブランチ）を検査して、GEMM 制約から非直列接続を特定する。
• シグモイドと ReLU 系の活性化関数を区別するため、キャッシュアクセスパターンを探査する。
• マッピングと層接続からの制約を活用してアーキテクチャ探索空間を絞り込む。

実験結果

リサーチクエスチョン

• RQ1 キャッシュサイドチャネル情報は DNN の層数、層のサイズ、活性化関数を特定できるか。
• RQ2 DNN のハイパーパラメータは一般的な BLAS ライブラリの GEMM パラメータの痕跡から推定できるか。
• RQ3 キャッシュベースの観察を用いて潜在アーキテクチャの探索空間をどの程度削減できるか。
• RQ4 活性化関数は一般的な DNN バックエンドのキャッシュタイミング差で区別できるか。
• RQ5 攻撃者はアーキテクチャ推定に成功するために共置きまたは共有ライブラリを必要とするか。

主な発見

• Cache Telepathy はハイパーパラメータに対応する GEMM パラメータを暴露することで DNN アーキテクチャ探索空間を縮小する。
• VGG を OpenBLAS で用いた場合、探索空間は 10^35 超のアーキテクチャから 16 アーキテクチャへ縮小される。
• この攻撃は一般目的プロセッサ上で OpenBLAS および Intel MKL を実行する DNN を対象とする。
• 方法は DNN のハイパーパラメータを GEMM の寸法と回数へマッピングし、アーキテクチャを正確に逆推定できる。
• 活性化関数は特定の実装の詳細（例：シグモイド）を狙ったキャッシュプローブで区別できる。
• このアプローチは一般的な ML フレームワーク（TensorFlow, Caffe, Theano, MXNet）およびバックエンド（OpenBLAS, MKL）に適用可能である。