[论文解读] DeepLaser: Practical Fault Attack on Deep Neural Networks

Jakub Breier, Xiaolu Hou+4 more|arXiv (Cornell University)|Jun 15, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用 18

一句话总结

本文提出 DeepLaser，这是首个在嵌入式系统上通过激光注入对深度神经网络实施实际物理故障攻击的方法，针对激活函数——ReLu、sigmoid、tanh 和 softmax。通过向隐藏层注入故障，该攻击在针对 ReLU 函数至少 3/4 的神经元、针对 sigmoid/tanh 函数至少一半的神经元时，实现了超过 50% 的误分类成功率，证明了其在低成本微控制器上的实际可行性。

ABSTRACT

As deep learning systems are widely adopted in safety- and security-critical applications, such as autonomous vehicles, banking systems, etc., malicious faults and attacks become a tremendous concern, which potentially could lead to catastrophic consequences. In this paper, we initiate the first study of leveraging physical fault injection attacks on Deep Neural Networks (DNNs), by using laser injection technique on embedded systems. In particular, our exploratory study targets four widely used activation functions in DNNs development, that are the general main building block of DNNs that creates non-linear behaviors -- ReLu, softmax, sigmoid, and tanh. Our results show that by targeting these functions, it is possible to achieve a misclassification by injecting faults into the hidden layer of the network. Such result can have practical implications for real-world applications, where faults can be introduced by simpler means (such as altering the supply voltage).

研究动机与目标

• 研究深度神经网络在真实世界嵌入式系统中对物理故障注入攻击的脆弱性。
• 评估主要激活函数——ReLu、sigmoid、tanh 和 softmax——在实际环境中的故障注入敏感性。
• 证明故障注入可在推理过程中导致可靠误分类，从而破坏安全关键型 AI 应用。
• 探索使用低成本微控制器和基于激光的故障注入技术实现此类攻击的可行性。
• 为未来针对深度学习系统中恶意故障攻击的防御措施奠定基础。

提出的方法

• 在代表物联网设备的 8 位微控制器上实现常见的激活函数（ReLu、sigmoid、tanh、softmax）。
• 使用近红外二极管脉冲激光，在激活函数计算期间实现精确、定向的故障注入。
• 向 DNN 的隐藏层注入故障，观察输出分类行为的变化。
• 测量在多种输入和不同故障数量下，误分类的成功率。
• 分析故障模式，特别是 IEEE 754 32 位浮点数表示中，softmax 函数的指数位和符号位发生位翻转的影响。
• 在受控的故障注入条件下，对不同激活函数的攻击成功率进行仿真与验证。

实验结果

研究问题

• RQ1 通过激光靶向 DNN 中的激活函数实施物理故障注入，是否能在真实世界嵌入式系统中导致可靠的误分类？
• RQ2 在实际条件下，针对 ReLU、sigmoid、tanh 和 softmax 函数的故障注入攻击的成功率是多少？
• RQ3 为实现超过 50% 的成功率，需针对不同激活函数的多少个神经元进行攻击？
• RQ4 能否通过在 softmax 层注入故障来操纵输出概率，以强制实现特定的误分类？
• RQ5 此类攻击对自动驾驶等安全关键型 AI 系统的实际影响是什么？

主要发现

• 当至少 3/4 的 ReLU 激活层神经元被攻击时，攻击实现了超过 50% 的误分类成功率。
• 对于 sigmoid 和 tanh 函数，当至少一半的神经元被故障注入时，成功率达到 50% 以上。
• 主要故障机制是指数运算中否定操作的跳过，该现象在 sigmoid 和 tanh 函数中一致地改变了输出值。
• 对于 softmax 函数，目标输出神经元浮点数表示中指数字段的单比特翻转，可提高其概率，从而强制导致误分类。
• 该攻击已在使用激光注入的 8 位微控制器上成功演示，证明了其在低成本嵌入式平台上的实际可行性。
• 结果表明，DNN 的故障注入攻击不仅在理论上可能，而且可利用易获取的硬件和方法实际利用。