[论文解读] DeepPeep: Exploiting Design Ramifications to Decipher the Architecture of Compact DNNs

Nandan Kumar Jha, Sparsh Mittal+2 more|arXiv (Cornell University)|Jul 30, 2020

Adversarial Robustness in Machine Learning参考文献 48被引用 5

一句话总结

DeepPeep 提出了一种两阶段的侧信道攻击方法，通过利用深度可分离卷积和通道混洗等独特设计特性，逆向推导出紧凑深度神经网络（DNN）的网络结构。该方法仅通过性能追踪和 cuBLAS 内核分析，即可高精度地重建 DNN 构建模块，在 P100 和 P4000 GPU 上成功实现有效的知识产权盗窃，同时提出一种安全的 MobileNet-V1 变体，其延迟降低 60%，准确率提高 2%。

ABSTRACT

The remarkable predictive performance of deep neural networks (DNNs) has led to their adoption in service domains of unprecedented scale and scope. However, the widespread adoption and growing commercialization of DNNs have underscored the importance of intellectual property (IP) protection. Devising techniques to ensure IP protection has become necessary due to the increasing trend of outsourcing the DNN computations on the untrusted accelerators in cloud-based services. The design methodologies and hyper-parameters of DNNs are crucial information, and leaking them may cause massive economic loss to the organization. Furthermore, the knowledge of DNN's architecture can increase the success probability of an adversarial attack where an adversary perturbs the inputs and alter the prediction. In this work, we devise a two-stage attack methodology "DeepPeep" which exploits the distinctive characteristics of design methodologies to reverse-engineer the architecture of building blocks in compact DNNs. We show the efficacy of "DeepPeep" on P100 and P4000 GPUs. Additionally, we propose intelligent design maneuvering strategies for thwarting IP theft through the DeepPeep attack and proposed "Secure MobileNet-V1". Interestingly, compared to vanilla MobileNet-V1, secure MobileNet-V1 provides a significant reduction in inference latency ($\approx$60%) and improvement in predictive performance ($\approx$2%) with very-low memory and computation overheads.

研究动机与目标

• 探究紧凑 DNN 设计方法论在泄露网络结构知识产权的侧信道攻击下的脆弱性。
• 开发一种轻量级、非侵入式的攻击技术，仅通过性能侧信道和 cuBLAS 内核分析即可重建 DNN 构建模块。
• 提出设计准则，防止信息泄露，同时保持或提升推理效率和准确率。
• 证明在复杂真实 DNN 上（如 MobileNet、DenseNet 和 ShuffleNet 变体）进行网络结构逆向工程的可行性。
• 提出一种可抵抗 DeepPeep 式攻击的安全型 MobileNet-V1 变体，同时实现显著的性能提升。

提出的方法

• 该攻击采用两阶段方法：首先，分析 GPU 执行追踪以提取 cuBLAS 内核调用模式和内存访问特征。
• 其次，将这些侧信道信号与已知的构建模块（如深度可分离卷积（DWConv）、通道混洗和密集连接）的架构特征进行关联。
• 该方法利用每种 DNN 组件独特的计算和内存访问模式，推断层类型、滤波器尺寸和连接模式。
• 它采用关系推理技术建模层之间的结构依赖关系，将网络结构重建视为图结构推理问题。
• 该方法无需对硬件或软件的特权访问，仅依赖可观测的性能追踪和内核级行为。
• 安全 DNN 设计准则基于攻击洞察提出，引入细微的架构混淆机制，以破坏侧信道泄露，且性能开销极小。

实验结果

研究问题

• RQ1 使用 DWConv、通道混洗和密集连接等技术的紧凑 DNN 设计方法论，在利用性能和内存访问模式的侧信道攻击下有多脆弱？
• RQ2 在无特权访问的前提下，最少需要哪些侧信道信息即可重建 DNN 的架构组件？
• RQ3 能否构建一个可泛化于多种紧凑 DNN 架构（包括 MobileNet、ShuffleNet 和 DenseNet）的逆向工程框架？
• RQ4 在保持推理效率和准确率的前提下，架构混淆技术能在多大程度上防止侧信道泄露？
• RQ5 能否设计一种安全的 DNN 变体，使其可抵抗架构逆向工程，同时不带来高昂的计算或内存开销？

主要发现

• DeepPeep 仅通过 P100 和 P4000 GPU 的侧信道追踪，成功逆向推导出 MobileNet-V1、ShuffleNet 和 DenseNet 变体的网络结构。
• 通过分析 cuBLAS 内核调用和内存访问模式，该攻击在识别层类型、滤波器尺寸和连接模式方面实现了高精度。
• 所提出的安全部 MobileNet-V1 变体相比原始模型，推理延迟降低了约 60%，预测准确率提高了约 2%。
• 该安全型 MobileNet-V1 在极低的额外内存和计算开销下实现上述性能提升，证明了知识产权保护与性能优化可并存。
• 深度可分离卷积和通道混洗等设计特征尤为脆弱，因其具有独特且可重复的性能特征。
• 本研究揭示，即使轻量级、高效的 DNN 也易受通过侧信道分析实现的架构知识产权盗窃，凸显了云环境 DNN 推理中的关键安全缺口。