[論文レビュー] DeepHammer: Depleting the Intelligence of Deep Neural Networks through Targeted Chain of Bit Flips

Fan Yao, Adnan Siraj Rakin+1 more|arXiv (Cornell University)|Mar 30, 2020

Adversarial Robustness in Machine Learning被引用数 59

ひとこと要約

本論文は、標的ビット反転（Rowhammer）を用いたハードウェアベースの攻撃が、量子化された DNN の推論精度を決定論的に劣化させ、ランダム推測レベルへと落とすことを、脆弱な重みビットを反転させる高速でメモリ効率の良い手法を通じて実現することを示している。

ABSTRACT

Security of machine learning is increasingly becoming a major concern due to the ubiquitous deployment of deep learning in many security-sensitive domains. Many prior studies have shown external attacks such as adversarial examples that tamper with the integrity of DNNs using maliciously crafted inputs. However, the security implication of internal threats (i.e., hardware vulnerability) to DNN models has not yet been well understood. In this paper, we demonstrate the first hardware-based attack on quantized deep neural networks-DeepHammer-that deterministically induces bit flips in model weights to compromise DNN inference by exploiting the rowhammer vulnerability. DeepHammer performs aggressive bit search in the DNN model to identify the most vulnerable weight bits that are flippable under system constraints. To trigger deterministic bit flips across multiple pages within reasonable amount of time, we develop novel system-level techniques that enable fast deployment of victim pages, memory-efficient rowhammering and precise flipping of targeted bits. DeepHammer can deliberately degrade the inference accuracy of the victim DNN system to a level that is only as good as random guess, thus completely depleting the intelligence of targeted DNN systems. We systematically demonstrate our attacks on real systems against 12 DNN architectures with 4 different datasets and different application domains. Our evaluation shows that DeepHammer is able to successfully tamper DNN inference behavior at run-time within a few minutes. We further discuss several mitigation techniques from both algorithm and system levels to protect DNNs against such attacks. Our work highlights the need to incorporate security mechanisms in future deep learning system to enhance the robustness of DNN against hardware-based deterministic fault injections.

研究の動機と目的

• 量子化されたディープニューラルネットワークに対する内部脅威へのハードウェアの脆弱性を示す。
• 標的ビット反転が DNN 推論精度を決定論的に低下させることを示す。
• 被害者ページの高速展開、メモリ効率の良い Rowhammer、正確なビット反転のためのシステムレベル技術を開発する。
• 実用性と影響を評価するために、複数のアーキテクチャとデータセットで攻撃を評価する。
• このような故障に対する耐性を向上させるため、アルゴリズムレベルとシステムレベルの緩和策を検討する。

提案手法

• システム制約の下で反転適合性がある量子化 DNN の脆弱な重みビットを特定するために、積極的なビット探索を実施する。
• 複数のメモリページにわたって決定論的なビット反転を引き起こすために Rowhammer の脆弱性を悪用する。
• 被害者ページの迅速な展開とメモリ効率の良い Rowhammer を実現するためのシステムレベルの技術を開発する。
• 推論精度を低下させるために標的とした重みビットの正確な反転を実装する。
• 効果を評価するために、12 の DNN アーキテクチャを 4 つのデータセットおよび複数のドメインにわたって体系的に攻撃する。
• アルゴリズムレベルとアーキテクチャレベルの双方での緩和戦略を議論する。

実験結果

リサーチクエスチョン

• RQ1 量子化された DNN の重みの標的ビット反転を用いて推論精度を決定論的に低下させることはできるか？
• RQ2 被害モデルのページ全体に対して高速かつ信頼性の高い Rowhammer ベースのビット反転を可能にするシステムレベル技術とは何か？
• RQ3 DeepHammer によって影響を受けるアーキテクチャとデータセットはどの程度か、またどのくらいの時間枠で可能か？
• RQ4 ハードウェアベースの故障注入に対する DNN の脆弱性を低減する緩和策は何か？

主な発見

• DeepHammer は数分以内にランタイムで DNN 推論挙動を改ざんできる。
• 攻撃は標的とした DNN の推論精度をランダム推測に相当するレベルまで低下させることができる。
• 評価は 12 の DNN アーキテクチャ、4 つのデータセット、および複数のアプリケーションドメインを含む。
• 新規のシステムレベル技術により、被害者ページの高速展開、メモリ効率の良い Rowhammer、正確な標的ビット反転を実現。
• 本研究は、ハードウェアベースの決定論的故障注入から DNN を保護するセキュリティ機構の必要性を浮き彫りにしている。