[論文レビュー] Cache Telepathy: Leveraging Shared Resource Attacks to Learn DNN Architectures

Mengjia Yan, Christopher W. Fletcher+1 more|arXiv (Cornell University)|Aug 14, 2018

Adversarial Robustness in Machine Learning被引用数 85

ひとこと要約

論文は Cache Telepathy を提案し、推論時の GEMM パラメータ使用を分析して DNN アーキテクチャを逆算するキャッシュサイドチャネル攻撃で、アーキテクチャ探索空間を著しく狭める。

ABSTRACT

Deep Neural Networks (DNNs) are fast becoming ubiquitous for their ability to attain good accuracy in various machine learning tasks. A DNN's architecture (i.e., its hyper-parameters) broadly determines the DNN's accuracy and performance, and is often confidential. Attacking a DNN in the cloud to obtain its architecture can potentially provide major commercial value. Further, attaining a DNN's architecture facilitates other, existing DNN attacks. This paper presents Cache Telepathy: a fast and accurate mechanism to steal a DNN's architecture using the cache side channel. Our attack is based on the insight that DNN inference relies heavily on tiled GEMM (Generalized Matrix Multiply), and that DNN architecture parameters determine the number of GEMM calls and the dimensions of the matrices used in the GEMM functions. Such information can be leaked through the cache side channel. This paper uses Prime+Probe and Flush+Reload to attack VGG and ResNet DNNs running OpenBLAS and Intel MKL libraries. Our attack is effective in helping obtain the architectures by very substantially reducing the search space of target DNN architectures. For example, for VGG using OpenBLAS, it reduces the search space from more than $10^{35}$ architectures to just 16.

研究の動機と目的

• DNN 推論がタイル化された GEMM に依存しており、アーキテクチャのハイパーパラメータが GEMM 呼び出しと行列形状に影響を与えることを示す。
• キャッシュサイドチャネルが GEMM パラメータを漏洩させ、DNN アーキテクチャを推定できることを示す。
• キャッシュ攻撃と分析を組み合わせて DNN 探索空間を絞り込む実用的な攻撃パイプラインを開発する。
• OpenBLAS と Intel MKL を用いた一般的な DNN（VGG, ResNet）で攻撃を評価し、有効性を示す。

提案手法

• DNN ハイパーパラメータが全結合層および畳み込み層に渡る GEMM 実行へどのようにマッピングされるかを分析する。
• DNN レイヤー構成を GEMM 行列サイズとバッチ次元へ変換して、 observable なパターンを特定する。
• キャッシュベースのサイドチャネル攻撃（Prime+Probe および Flush+Reload）を実装して、OpenBLAS（および MKL）の実装から GEMM 次元（m, n, k）を抽出する。
• 観測された GEMM パラメータを用いて DNN アーキテクチャ探索空間を再構築・絞り込む。
• 層の接続と活性化を関連付ける後処理ステップを適用して、アーキテクチャ候補を絞り込む。

実験結果

リサーチクエスチョン

• RQ1 キャッシュタイミングのサイドチャネルは DNN ハイパーパラメータに対応する GEMM パラメータパターンを明らかにできるか？
• RQ2 観測された GEMM 次元は MLaaS 環境における DNN アーキテクチャ探索空間をどの程度制約できるか？
• RQ3 さまざまな BLAS ライブラリ（一般的な VGG/ResNet のようなネットワーク）で攻撃はレイヤータイプ・数・接続をどれだけ効果的に識別できるか？
• RQ4 異なるライブラリ(OpenBLAS, MKL) が GEMM パラメータの観測性に与える影響は？
• RQ5 キャッシュの観測によって活性化関数や他の非 GEMM コンポーネントを区別できるか？

主な発見

• Cache Telepathy は推論時の GEMM パラメータ使用を監視して DNN アーキテクチャを推定できる。
• OpenBLAS を用いた VGG の場合、攻撃はアーキテクチャ探索空間を 1e35 超から 16 個の候補に絞り込む。
• 攻撃は MLaaS で使用される汎用 CPU を対象とし、Prime+Probe と Flush+Reload の技術に依存する。
• DNN のハイパーパラメータから GEMM 引数へのマッピングは、全結合層および畳み込み層の両方、プーリングとパディングの影響を含めて分析可能である。
• このアプローチは現代のフレームワーク（TensorFlow、Caffe、Theano、MXNet）およびライブラリ（OpenBLAS、MKL）にも適用される。
• この方法は inter-GEMM レイテンシパターンと次元制約を利用して非逐次的な接続（ショートカット/ブランチ）を識別する。