[論文レビュー] Terminal Brain Damage: Exposing the Graceless Degradation in Deep Neural Networks Under Hardware Fault Attacks

Sanghyun Hong, Pietro Frigo+3 more|arXiv (Cornell University)|Jun 3, 2019

Adversarial Robustness in Machine Learning参考文献 59被引用数 103

ひとこと要約

この論文は Rowhammer などのハードウェア故障攻撃によって DNN パラメータの単一ビット反転が、19モデルと複数データセットにおいて深刻で非グレースフルな精度低下を引き起こす方法を分析し、緩和策を提案します。

ABSTRACT

Deep neural networks (DNNs) have been shown to tolerate "brain damage": cumulative changes to the network's parameters (e.g., pruning, numerical perturbations) typically result in a graceful degradation of classification accuracy. However, the limits of this natural resilience are not well understood in the presence of small adversarial changes to the DNN parameters' underlying memory representation, such as bit-flips that may be induced by hardware fault attacks. We study the effects of bitwise corruptions on 19 DNN models---six architectures on three image classification tasks---and we show that most models have at least one parameter that, after a specific bit-flip in their bitwise representation, causes an accuracy loss of over 90%. We employ simple heuristics to efficiently identify the parameters likely to be vulnerable. We estimate that 40-50% of the parameters in a model might lead to an accuracy drop greater than 10% when individually subjected to such single-bit perturbations. To demonstrate how an adversary could take advantage of this vulnerability, we study the impact of an exemplary hardware fault attack, Rowhammer, on DNNs. Specifically, we show that a Rowhammer enabled attacker co-located in the same physical machine can inflict significant accuracy drops (up to 99%) even with single bit-flip corruptions and no knowledge of the model. Our results expose the limits of DNNs' resilience against parameter perturbations induced by real-world fault attacks. We conclude by discussing possible mitigations and future research directions towards fault attack-resilient DNNs.

研究の動機と目的

• ハードウェア故障攻撃下でDNNパラメータの単一ビット反転に対する脆弱性を評価する。
• ビット位置、反転方向、パラメータの符号、およびアーキテクチャが脆弱性に与える影響を特徴付ける。
• 現実的な MLaaS 設定における実用的な攻撃シナリオ（Rowhammer）を評価する。
• DNN の故障耐性を向上させる潜在的な緩和策を特定する。

提案手法

• モデルの各パラメータの各ビットを系統的に反転させ、検証セットで誤分類率を測定する。
• MNIST、CIFAR10、ImageNet にまたがる19のDNNモデルを分析し、脆弱なパラメータ（RAD>0.1）を特定する。
• 大規模モデルを扱うため、スピードアップヒューリスティック（Sampled Validation、Specific Bits、Sampled Parameters）を使用する。
• 共置型 MLaaS シナリオで Rowhammer 攻撃をシミュレートし、実際の影響を評価する。
• 活性化の大きさ制限（ReLU6）や重みの量子化/2値化などの緩和策を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるアーキテクチャとデータセットにわたって、DNNパラメータは単一ビット反転にどれだけ脆弱か。
• RQ2 どのビット位置、反転方向、パラメータ符号が、無差別な損傷（RAD>0.1）に最も寄与するか。
• RQ3 Rowhammer のような実用的なハードウェア故障攻撃は、共置型 MLaaS 設定で大きな精度低下を引き起こせるか。
• RQ4 一般的なトレーニング技法（ドロップアウト、バッチ正規化）は単一ビットの脆弱性を緩和するか。
• RQ5 あまり精度を犠牲にせず、脆弱性を効果的に低減する緩和策は何か。

主な発見

• 平均して、約50%のパラメータが、モデル全体でRAD>0.1を引き起こす単一ビット反転に対して脆弱である。
• 特定のビット反転で90%以上の精度喪失を引き起こすパラメータもあり、無作法な劣化を示唆する。
• 脆弱性は主に大きな値のスパイクに起因し、指数部ビット（特に31番目）が最も影響力が大きい。
• 正のパラメータはReLU下で脆弱性が高いが、負の出力を許す他の活性化関数も負のパラメータからのリスクを高める。
• 層幅を増やすと脆弱なパラメータ数が増える一方、ドロップアウト/バッチ正規化は限定的な保護を提供する。
• Rowhammer 対応の attackers は、モデル知識なしでも実用的なシナリオで最大99%の精度低下を引き起こす可能性がある。