[论文解读] Hu-Fu: Hardware and Software Collaborative Attack Framework against Neural Networks

Wenshuo Li, Jincheng Yu+5 more|arXiv (Cornell University)|May 14, 2018

Adversarial Robustness in Machine Learning参考文献 30被引用 7

一句话总结

本文提出了一种硬件-软件协同攻击框架 Hu-Fu，该框架在不修改输入图像的情况下，将后门木马嵌入神经网络。通过在训练期间结合硬件木马与基于软件的木马权重注入，该框架在 CIFAR-10 上实现了 92.6% 的攻击成功率，在 YouTube Faces 上实现了 100% 的成功率，同时在正常模式下保持了接近原始模型的准确率。

ABSTRACT

Recently, Deep Learning (DL), especially Convolutional Neural Network (CNN), develops rapidly and is applied to many tasks, such as image classification, face recognition, image segmentation, and human detection. Due to its superior performance, DL-based models have a wide range of application in many areas, some of which are extremely safety-critical, e.g. intelligent surveillance and autonomous driving. Due to the latency and privacy problem of cloud computing, embedded accelerators are popular in these safety-critical areas. However, the robustness of the embedded DL system might be harmed by inserting hardware/software Trojans into the accelerator and the neural network model, since the accelerator and deploy tool (or neural network model) are usually provided by third-party companies. Fortunately, inserting hardware Trojans can only achieve inflexible attack, which means that hardware Trojans can easily break down the whole system or exchange two outputs, but can't make CNN recognize unknown pictures as targets. Though inserting software Trojans has more freedom of attack, it often requires tampering input images, which is not easy for attackers. So, in this paper, we propose a hardware-software collaborative attack framework to inject hidden neural network Trojans, which works as a back-door without requiring manipulating input images and is flexible for different scenarios. We test our attack framework for image classification and face recognition tasks, and get attack success rate of 92.6% and 100% on CIFAR10 and YouTube Faces, respectively, while keeping almost the same accuracy as the unattacked model in the normal mode. In addition, we show a specific attack scenario in which a face recognition system is attacked and gives a specific wrong answer.

研究动机与目标

• 应对第三方嵌入式深度学习加速器在关键安全应用中日益增长的安全风险。
• 克服纯软件木马的局限性（需修改输入数据），以及纯硬件木马缺乏灵活性的问题。
• 开发一种隐蔽的攻击框架，在正常运行期间保持不可检测，同时支持目标导向的后门行为。
• 证明硬件-软件协同设计的木马在不修改输入数据的情况下可被触发的可行性。
• 通过在图像分类和人脸识别任务中成功实施攻击，展示该框架在现实世界中的适用性。

提出的方法

• 设计一种硬件木马电路，通过操纵中间特征图，在推理阶段触发后门行为。
• 提出一种受 DSD 启发的新颖训练流程，将木马权重注入子网络，同时不降低整体模型的准确率。
• 利用输入通道或像素级并行性，隔离并训练具备木马功能的子网络，同时保持主网络的性能。
• 将恶意权重嵌入到剪枝后的子网络中，使得只有在硬件木马被触发时，木马才会激活。
• 通过仔细选择剪枝参数和训练调度，确保正常模式下的准确率与原始模型几乎完全一致。
• 通过在推理阶段激活硬件木马，将特征图重定向至木马子网络，从而实现错误分类。

实验结果

研究问题

• RQ1 硬件-软件协同框架是否能够在不修改输入图像的情况下，实现对神经网络的隐蔽后门攻击？
• RQ2 如何设计硬件木马，使其在正常运行期间保持不可检测，同时仍能触发恶意行为？
• RQ3 在保持正常模式高准确率的前提下，子网络在多大程度上可以被注入木马权重？
• RQ4 在嵌入木马时，不同并行化策略（像素级 vs. 输入通道级）之间的性能权衡如何？
• RQ5 该框架是否能在现实应用中实现高攻击成功率，例如人脸识别和图像分类任务？

主要发现

• Hu-Fu 框架在 CIFAR-10 数据集上实现了 92.6% 的攻击成功率，正常模式下的准确率仅轻微下降（输入通道并行下为 91.61%）。
• 在 YouTube Faces 数据集上，该框架在标签交换和后门场景中均实现了 100% 的攻击成功率，同时保持了 99.48% 的正常模式准确率。
• 后门攻击成功将一名未知人员（安德烈斯·曼努埃尔·洛佩斯·奥布莱托）错误分类为弗兰克·比默，触发模式下的成功率为 44.4%，平均置信度达 70%。
• 所有配置下，正常模式准确率与原始模型几乎无法区分，仅下降 0.1% 至 0.3%。
• 在正常运行期间攻击不可检测，因为输入图像未被修改，且木马仅通过硬件触发信号激活。
• 该框架在不同并行化策略下均表现出可扩展性和有效性，其中像素级并行比输入通道级并行性能更优。