[论文解读] Cache Telepathy: Leveraging Shared Resource Attacks to Learn DNN Architectures

Mengjia Yan, Christopher W. Fletcher+1 more|arXiv (Cornell University)|Aug 14, 2018

Adversarial Robustness in Machine Learning被引用 85

一句话总结

本文提出 Cache Telepathy，一种缓存侧信道攻击，通过在推理过程中分析 GEMM 参数的使用来反推 DNN 架构，极大地缩小了架构搜索空间。

ABSTRACT

Deep Neural Networks (DNNs) are fast becoming ubiquitous for their ability to attain good accuracy in various machine learning tasks. A DNN's architecture (i.e., its hyper-parameters) broadly determines the DNN's accuracy and performance, and is often confidential. Attacking a DNN in the cloud to obtain its architecture can potentially provide major commercial value. Further, attaining a DNN's architecture facilitates other, existing DNN attacks. This paper presents Cache Telepathy: a fast and accurate mechanism to steal a DNN's architecture using the cache side channel. Our attack is based on the insight that DNN inference relies heavily on tiled GEMM (Generalized Matrix Multiply), and that DNN architecture parameters determine the number of GEMM calls and the dimensions of the matrices used in the GEMM functions. Such information can be leaked through the cache side channel. This paper uses Prime+Probe and Flush+Reload to attack VGG and ResNet DNNs running OpenBLAS and Intel MKL libraries. Our attack is effective in helping obtain the architectures by very substantially reducing the search space of target DNN architectures. For example, for VGG using OpenBLAS, it reduces the search space from more than $10^{35}$ architectures to just 16.

研究动机与目标

• 证明 DNN 推理依赖于分块 GEMM，且架构超参数会影响 GEMM 调用和矩阵形状。
• 显示缓存侧信道可以泄露 GEMM 参数以推断 DNN 架构。
• 开发一个结合缓存攻击与分析的实用攻击流程，以缩减 DNN 的搜索空间。
• 在常见 DNN（VGG、ResNet）上，使用 OpenBLAS 与 Intel MKL 评估该攻击以证明有效性。

提出的方法

• 分析 DNN 超参数如何映射到全连接层和卷积层中的 GEMM 执行。
• 将 DNN 层配置转化为 GEMM 矩阵大小和批量维度，以识别可观察的模式。
• 实现基于缓存的侧信道攻击（Prime+Probe 和 Flush+Reload），从 OpenBLAS（以及 MKL）实现中提取 GEMM 维度（m、n、k）。
• 使用观测到的 GEMM 参数来重建并缩减 DNN 架构搜索空间。
• 应用后处理步骤相关联层连接和激活函数，细化架构候选。

实验结果

研究问题

• RQ1 缓存时序侧信道能揭示与 DNN 超参数对应的 GEMM 参数模式吗？
• RQ2 在 MLaaS 环境中，观测到的 GEMM 维度在多大程度上能约束 DNN 架构搜索空间？
• RQ3 该攻击在运行常见 BLAS 库的 VGG/ResNet 风格网络中，识别层类型、数量和连接性有多么有效？
• RQ4 不同库（OpenBLAS、MKL）对 GEMM 参数可观测性有何影响？
• RQ5 该方法能否通过缓存观测区分激活函数及其他非 GEMM 组件？

主要发现

• Cache Telepathy 可以通过在推理期间监控 GEMM 参数的使用来推断 DNN 架构。
• 对于使用 OpenBLAS 的 VGG，该攻击将架构搜索空间从超过 1e35 缩小到 16 种可能的架构。
• 该攻击针对 MLaaS 中使用的通用 CPU，并依赖 Prime+Probe 和 Flush+Reload 技术。
• DNN 超参数到 GEMM 参数的映射对于全连接层和卷积层都是可分析的，包含池化和填充效应。
• 该方法适用于现代框架（TensorFlow、Caffe、Theano、MXNet）和库（OpenBLAS、MKL）。
• 该方法通过利用 GEMM 之间的潜在时延模式和维度约束来识别非序列连接（跳跃/分支）。