[论文解读] Fault Sneaking Attack: a Stealthy Framework for Misleading Deep Neural Networks

Pu Zhao, Siyue Wang+4 more|arXiv (Cornell University)|May 28, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用 12

一句话总结

本文提出了一种隐蔽的深度学习攻击——故障潜入攻击（fault sneaking attack），通过修改DNN参数，使模型对特定输入误分类，同时保持整体模型准确率。采用带有ℓ₀和ℓ₂范数约束的ADMM方法，可在仅造成不到1%的准确率下降情况下，实现对16个故障的多目标误分类，且参数修改量极小。

ABSTRACT

Despite the great achievements of deep neural networks (DNNs), the vulnerability of state-of-the-art DNNs raises security concerns of DNNs in many application domains requiring high reliability.We propose the fault sneaking attack on DNNs, where the adversary aims to misclassify certain input images into any target labels by modifying the DNN parameters. We apply ADMM (alternating direction method of multipliers) for solving the optimization problem of the fault sneaking attack with two constraints: 1) the classification of the other images should be unchanged and 2) the parameter modifications should be minimized. Specifically, the first constraint requires us not only to inject designated faults (misclassifications), but also to hide the faults for stealthy or sneaking considerations by maintaining model accuracy. The second constraint requires us to minimize the parameter modifications (using L0 norm to measure the number of modifications and L2 norm to measure the magnitude of modifications). Comprehensive experimental evaluation demonstrates that the proposed framework can inject multiple sneaking faults without losing the overall test accuracy performance.

研究动机与目标

• 解决深度神经网络（DNNs）对基于硬件的故障注入攻击的安全部署问题。
• 开发一种通过修改DNN参数实现多目标误分类的方法，同时不降低整体模型准确率。
• 通过保持绝大多数输入的正确分类和最小化参数修改，确保攻击的隐蔽性。
• 通过减少成功攻击所需的参数修改数量和幅度，实现高效的硬件部署。

提出的方法

• 将故障潜入攻击建模为一个优化问题，包含两个约束：保持R−S个非目标图像的正确分类，以及最小化参数修改。
• 应用交替方向乘子法（ADMM）求解该优化问题，并获得解析解。
• 使用ℓ₀范数以最小化被修改参数的数量，使用ℓ₂范数以最小化修改的幅度。
• 实现一个通用的ADMM框架，仅需少量配置更改即可支持ℓ₀和ℓ₂范数的最小化。
• 通过交替更新模型参数和对偶变量，迭代求解问题，确保在约束条件下收敛。
• 采用两阶段优化流程：首先识别需要修改的关键参数；其次，精细化调整以满足准确率和隐蔽性约束。

实验结果

研究问题

• RQ1 能否仅通过修改少数参数，使DNN对特定输入误分类，同时保持其他输入的分类准确率？
• RQ2 如何最小化参数修改的数量和幅度，以实现实际的基于硬件的故障注入攻击？
• RQ3 在模型性能显著下降之前，最多可注入多少个隐蔽故障？
• RQ4 与启发式或规避型方法相比，基于ADMM的优化框架在隐蔽性和效率方面表现如何？

主要发现

• 当S ≤ 10时，故障潜入攻击对多达16个目标图像的误分类成功率达到100%，表明其在小规模攻击中具有高度可靠性。
• 当R = 1000时，S = 16的攻击在MNIST上的测试准确率为96.9%，在CIFAR-10上为76.4%，分别仅比原始模型下降0.8%和1.0%。
• 在类似条件下，该攻击的准确率下降幅度显著低于先前工作：MNIST为3.86%，CIFAR-10为2.35%。
• 当S > 10时，成功率降至100%以下，表明通过最后一层全连接层修改实现的可靠误分类数量存在约10个的实际容忍上限。
• 基于ℓ₀的攻击将被修改参数数量减少至1026（MNIST）和804（CIFAR-10）；而基于ℓ₂的攻击更有效地减小了参数修改的幅度，体现出稀疏性与幅度之间的权衡。
• 增加R（正确分类图像的数量）显著提升了整体测试准确率，表明保留更多良性分类可增强攻击后模型的稳定性。