[论文解读] Bit-Flip Attack: Crushing Neural Network with Progressive Bit Search

Adnan Siraj Rakin, Zhezhi He+1 more|arXiv (Cornell University)|Mar 28, 2019

Adversarial Robustness in Machine Learning参考文献 35被引用 16

一句话总结

本文提出比特翻转攻击（BFA），一种新颖方法，通过仅翻转其权重存储中的少数关键比特，严重降级量化神经网络。利用结合梯度排序与迭代比特选择的渐进式比特搜索（PBS），BFA 仅通过在 ResNet-18 中翻转 13 个比特（共 9300 万个比特）即实现模型完全失效（top-1 准确率 0.1%），展示了深度神经网络（DNN）参数对针对性内存攻击的极端脆弱性。

ABSTRACT

Several important security issues of Deep Neural Network (DNN) have been raised recently associated with different applications and components. The most widely investigated security concern of DNN is from its malicious input, a.k.a adversarial example. Nevertheless, the security challenge of DNN's parameters is not well explored yet. In this work, we are the first to propose a novel DNN weight attack methodology called Bit-Flip Attack (BFA) which can crush a neural network through maliciously flipping extremely small amount of bits within its weight storage memory system (i.e., DRAM). The bit-flip operations could be conducted through well-known Row-Hammer attack, while our main contribution is to develop an algorithm to identify the most vulnerable bits of DNN weight parameters (stored in memory as binary bits), that could maximize the accuracy degradation with a minimum number of bit-flips. Our proposed BFA utilizes a Progressive Bit Search (PBS) method which combines gradient ranking and progressive search to identify the most vulnerable bit to be flipped. With the aid of PBS, we can successfully attack a ResNet-18 fully malfunction (i.e., top-1 accuracy degrade from 69.8% to 0.1%) only through 13 bit-flips out of 93 million bits, while randomly flipping 100 bits merely degrades the accuracy by less than 1%.

研究动机与目标

• 研究量化深度神经网络（DNN）参数在内存系统中对针对性比特翻转攻击的脆弱性。
• 开发一种系统化方法，识别出在 DNN 权重中翻转后能最大程度降低准确率的最关键比特，以最小翻转次数实现最大性能下降。
• 证明即使高度量化和压缩的 DNN 也极易因少数精心选择的比特翻转而引发灾难性失效。
• 挑战量化网络对参数扰动具有鲁棒性的假设，尤其是在资源受限环境中的情况。

提出的方法

• 提出比特翻转攻击（BFA），一种针对参数的定向攻击，通过在 DRAM 中存储的 DNN 权重中翻转特定比特，以降低模型准确率。
• 引入渐进式比特搜索（PBS），一种结合基于梯度的排序与渐进式搜索的迭代算法，用于识别每一层中最脆弱的比特。
• 以迭代方式执行层内与跨层的比特选择，每次仅翻转最具影响力的单个比特。
• 使用相对于量化权重的直接梯度计算，避免梯度混淆，从而在不可微分的量化网络中实现有效搜索。
• 在训练和推理过程中采用直通估计器进行量化，确保与标准量化 DNN 的兼容性。
• 在多种架构（ResNet-18、VGG16）和数据集（ImageNet、CIFAR-10）上应用该攻击，覆盖多种量化位宽（4、6、8 位）。

实验结果

研究问题

• RQ1 在 DNN 权重存储中，少量有策略的比特翻转是否能导致量化神经网络发生灾难性失效？
• RQ2 比特翻转的位置（早期层 vs. 晚期层）如何影响 DNN 中的准确率下降？
• RQ3 尽管存在梯度混淆，基于梯度的方法是否仍能有效识别出量化网络中最脆弱的比特？
• RQ4 量化位数是否与使模型崩溃所需的比特翻转数量存在相关性？
• RQ5 由于潜在比特翻转的搜索空间极为庞大，现有对抗训练防御方法是否能有效抵御所提出的 BFA 攻击？

主要发现

• BFA 仅通过 13 次比特翻转（共 9300 万个比特）即成功将 ResNet-18 的 top-1 准确率从 69.8% 降低至 0.1%。
• 随机翻转 100 个比特导致 ResNet-18 准确率下降不足 1%，凸显 BFA 的针对性方法具有极高的效率。
• 攻击 VGG16 的第一卷积层比攻击最后一层更有效（20 次翻转使准确率降至 10.06%），而攻击最后一层仅导致 84.61% 的准确率。
• 使 VGG16 准确率降至 10% 所需的 15 次比特翻转中，有 9 次位于前六层，证实了早期层对噪声的放大效应。
• 该攻击在不同量化位宽（4、6、8 位）下均保持有效，且未发现位宽与模型抗翻转能力之间存在明确相关性。
• 基于 BFA 生成的比特翻转样本进行对抗训练，无法提升模型鲁棒性，原因在于搜索空间巨大（约 9300 万个比特），难以防御所有可能的比特翻转。