[论文解读] DeepFense: Online Accelerated Defense Against Adversarial Deep Learning

Bita Darvish Rouhani, Mohammad Samragh+3 more|arXiv (Cornell University)|Sep 8, 2017

Adversarial Robustness in Machine Learning被引用 6

一句话总结

DeepFense 提出了一种端到端、硬件加速的无监督防御框架，通过识别深度神经网络潜在特征空间中极少探索的区域，实现实时检测对抗性输入。该框架仅使用良性数据训练模块化鲁棒冗余，与仅使用 CPU 的平台相比，在 FPGA 上实现了高达 193 倍的每瓦性能提升，从而在不损害模型准确率的前提下实现高效在线检测。

ABSTRACT

Recent advances in adversarial Deep Learning (DL) have opened up a largely unexplored surface for malicious attacks jeopardizing the integrity of autonomous DL systems. With the wide-spread usage of DL in critical and time-sensitive applications, including unmanned vehicles, drones, and video surveillance systems, online detection of malicious inputs is of utmost importance. We propose DeepFense, the first end-to-end automated framework that simultaneously enables efficient and safe execution of DL models. DeepFense formalizes the goal of thwarting adversarial attacks as an optimization problem that minimizes the rarely observed regions in the latent feature space spanned by a DL network. To solve the aforementioned minimization problem, a set of complementary but disjoint modular redundancies are trained to validate the legitimacy of the input samples in parallel with the victim DL model. DeepFense leverages hardware/software/algorithm co-design and customized acceleration to achieve just-in-time performance in resource-constrained settings. The proposed countermeasure is unsupervised, meaning that no adversarial sample is leveraged to train modular redundancies. We further provide an accompanying API to reduce the non-recurring engineering cost and ensure automated adaptation to various platforms. Extensive evaluations on FPGAs and GPUs demonstrate up to two orders of magnitude performance improvement while enabling online adversarial sample detection.

研究动机与目标

• 为自动驾驶汽车和无人机等安全关键型、时间敏感型深度学习应用中，应对实时在线对抗性攻击的迫切需求提供解决方案。
• 克服现有防御机制在白盒对抗设置下失效或缺乏硬件加速以实现实时部署的局限性。
• 开发一种无监督、模块化且硬件优化的防御机制，无需对抗性训练数据，并保持原始模型的准确性。
• 通过软硬件/算法协同设计，在资源受限平台（如 FPGA）上实现防御机制的高效、即时执行。
• 提供一种自动化、可移植且可扩展的框架，并配备 API，实现跨多种深度学习模型和 FPGA 平台的无缝适配。

提出的方法

• DeepFense 将对抗性防御建模为一个优化问题，旨在最小化深度神经网络激活在潜在特征空间中的罕见区域。
• 提出模块化鲁棒冗余（MRR），其中每个模块学习特定层中典型数据点的概率密度函数（PDF），并将位于低密度、'高风险'区域的输入标记为潜在对抗性输入。
• MRR 模块与目标 DNN 推理并行运行，实现实时、在线的输入样本验证，且训练过程中无需使用对抗性样本。
• 该框架采用软硬件/算法协同设计方法，针对 FPGA 优化数据通路和内存访问模式，以最大化吞吐量和能效。
• 采用可配置的加速器流水线，根据用户定义或硬件约束的权衡，动态平衡鲁棒性与性能。
• 配套的 API 可将高层 DNN 描述自动转换为针对目标硬件的优化防御布局，实现平台无关的自动化部署。

实验结果

研究问题

• RQ1 无监督防御机制是否能在不依赖对抗性训练数据的情况下实现实时检测对抗性输入？
• RQ2 如何利用硬件加速实现在资源受限环境中的低延迟、高吞吐量在线防御？
• RQ3 模块化冗余在不降低原始模型准确率的前提下，能在多大程度上提升对自适应白盒攻击的鲁棒性？
• RQ4 通过将防御逻辑与 FPGA 特定优化相结合，可实现多大的性能和能效提升？
• RQ5 在不同硬件平台（包括 CPU、GPU 和 FPGA）上，该框架在各种工作负载下的可扩展性如何？

主要发现

• 与 Jetson TK1 的 CPU 模式相比，DeepFense 在 UltraScale FPGA 上实现了高达 193 倍的每瓦性能提升，展现出卓越的能效表现。
• 该框架将良性样本与对抗性样本之间的 AUC 分数差距从 0.76 缩小至 0.96，显著提升了检测能力。
• 在 Zynq FPGA 上，与 Jetson TK1 和 TX2 的 CPU 模式相比，DeepFense 分别实现了 38 倍和 6.2 倍的加速，且在更强大的 UltraScale FPGA 上性能提升更为显著。
• 仅使用良性数据进行无监督 MRR 训练，确保了对新型、此前未见的对抗性攻击的鲁棒性，且无准确率下降。
• 系统实现了低延迟开销的实时、即时检测，适用于时间敏感型应用的部署。
• 自动化 API 实现了对多种 DNN 架构和 FPGA 平台的无缝、低开销适配。