[論文レビュー] Bit-Flip Attack: Crushing Neural Network with Progressive Bit Search

Adnan Siraj Rakin, Zhezhi He+1 more|arXiv (Cornell University)|Mar 28, 2019

Adversarial Robustness in Machine Learning参考文献 35被引用数 16

ひとこと要約

この論文は、重みの保存領域における少数の重要なビットを反転させるだけで、量子化ニューラルネットワークを著しく劣化させる、新しい手法であるビットフラップ攻撃（BFA）を紹介している。プログレッシブビットサーチ（PBS）を用い、勾配順位付けと反復的ビット選択を組み合わせることで、ResNet-18では9300万ビット中13ビットの反転で完全なモデル障害（トップ-1正解率0.1%）を達成し、DNNパラメータが標的メモリ攻撃に対して極めて脆弱であることを示している。

ABSTRACT

Several important security issues of Deep Neural Network (DNN) have been raised recently associated with different applications and components. The most widely investigated security concern of DNN is from its malicious input, a.k.a adversarial example. Nevertheless, the security challenge of DNN's parameters is not well explored yet. In this work, we are the first to propose a novel DNN weight attack methodology called Bit-Flip Attack (BFA) which can crush a neural network through maliciously flipping extremely small amount of bits within its weight storage memory system (i.e., DRAM). The bit-flip operations could be conducted through well-known Row-Hammer attack, while our main contribution is to develop an algorithm to identify the most vulnerable bits of DNN weight parameters (stored in memory as binary bits), that could maximize the accuracy degradation with a minimum number of bit-flips. Our proposed BFA utilizes a Progressive Bit Search (PBS) method which combines gradient ranking and progressive search to identify the most vulnerable bit to be flipped. With the aid of PBS, we can successfully attack a ResNet-18 fully malfunction (i.e., top-1 accuracy degrade from 69.8% to 0.1%) only through 13 bit-flips out of 93 million bits, while randomly flipping 100 bits merely degrades the accuracy by less than 1%.

研究の動機と目的

• 量子化された深層ニューラルネットワーク（DNN）パラメータがメモリシステムにおける標的ビットフラップ攻撃に対してどれほど脆弱であるかを調査すること。
• 最小限のビット反転で精度を最大限に低下させるために、DNN重みの最も影響力の高いビットを系統立てて特定する方法を開発すること。
• 非常に量子化され、圧縮されたDNNでさえ、少数の的確に選ばれたビット反転によって壊滅的障害を受ける可能性があることを実証すること。
• 量子化されたネットワークは、特にリソース制限のある環境において、パrameterの摂動に対して頑健であるとされる仮定に疑問を呈すること。

提案手法

• DNN重みをDRAMに格納する際、特定のビットを反転させる標的パrameter攻撃であるビットフラップ攻撃（BFA）を提案する。
• 各層の最も脆弱なビットを特定するため、勾配ベースの順位付けと段階的探索を組み合わせた反復的アルゴリズムであるプログレッシブビットサーチ（PBS）を導入する。
• 反復的に層内および層間のビット選択を実行し、各反復で最も影響力の高いビットのみを反転する。
• 非微分可能な量子化されたネットワークにおいても効果的な探索を可能にするために、量子化重みに関する直接的な勾配計算を用いる。
• トレーニングおよび推論中に量子化のストレートスラッシュ推定器を採用し、標準的な量子化DNNと互換性を保つ。
• さまざまな量子化ビット幅（4, 6, 8ビット）で、複数のアーキテクチャ（ResNet-18, VGG16）とデータセット（ImageNet, CIFAR-10）に攻撃を適用する。

実験結果

リサーチクエスチョン

• RQ1 DNN重み格納領域における少数の戦略的なビット反転が、量子化ニューラルネットワークに壊滅的障害を引き起こすことができるか？
• RQ2 ビット反転の位置（初期層 vs. 後段層）が、DNNにおける精度低下にどのように影響するか？
• RQ3 勾配オブスキュレーションの影響を受けても、勾配ベースの手法が量子化ネットワークにおける最も脆弱なビットを効果的に特定できるか？
• RQ4 量子化ビット幅の数が、モデルを無効化するために必要なビット反転数に相関するか？
• RQ5 膨大な探索空間（約9300万ビット）を有するため、BFAによって生成されたビット反転例に基づくアドバーシャルトレーニング防御は、すべての可能なビット反転を防ぐのに不適切であるか？

主な発見

• BFAは、9300万ビット中わずか13ビットの反転で、ResNet-18のトップ-1正解率を69.8%から0.1%まで低下させることに成功した。
• 100ビットをランダムに反転させても、ResNet-18の正解率は1%未満にしか低下しないため、BFAの標的アプローチの極めて高い効率性が示された。
• VGG16の最初の畳み込み層を攻撃することは、最後の層を攻撃するのよりもはるかに効果的であり（20反転で正解率が10.06%に低下）、最後の層では20反転後も84.61%の正解率を維持した。
• VGG16の正解率を10%まで低下させるために必要な15ビット中9ビットが最初の6層に位置しており、初期層におけるノイズの増幅が確認された。
• 4, 6, 8ビットのさまざまな量子化ビット幅においても攻撃が有効であり、ビット幅と耐性の間には明確な相関は認められなかった。
• BFAによって生成されたビット反転例に基づくアドバーシャルトレーニングは、探索空間が非常に大きいため（約9300万ビット）、すべての可能なビット反転を防ぐには不十分で、耐性向上に失敗した。