[論文レビュー] Thales: Formulating and Estimating Architectural Vulnerability Factors for DNN Accelerators

Abhishek Tyagi, Yiming Gan+4 more|arXiv (Cornell University)|Dec 5, 2022

Radiation Effects in Electronics被引用数 6

ひとこと要約

本論文は、一時的ハードウェア故障下におけるDNN推論精度を定量化するための新しい指標、レジリエンシー・アキュラシー（RA）を提案する。従来の手法がDNN変数全体に等しい故障確率を仮定しているという根本的な欠陥に取り組む。変数固有の故障確率をモデル化し、重要度サンプリングを用いて効率的なモンテカルロ推定を実施することで、著者らは一時的故障が従来の推定値よりも著しく精度を低下させることを示し、よりレジリエントなDNNアクセラレータ設計を可能にする。

ABSTRACT

As Deep Neural Networks (DNNs) are increasingly deployed in safety critical and privacy sensitive applications such as autonomous driving and biometric authentication, it is critical to understand the fault-tolerance nature of DNNs. Prior work primarily focuses on metrics such as Failures In Time (FIT) rate and the Silent Data Corruption (SDC) rate, which quantify how often a device fails. Instead, this paper focuses on quantifying the DNN accuracy given that a transient error has occurred, which tells us how well a network behaves when a transient error occurs. We call this metric Resiliency Accuracy (RA). We show that existing RA formulation is fundamentally inaccurate, because it incorrectly assumes that software variables (model weights/activations) have equal faulty probability under hardware transient faults. We present an algorithm that captures the faulty probabilities of DNN variables under transient faults and, thus, provides correct RA estimations validated by hardware. To accelerate RA estimation, we reformulate RA calculation as a Monte Carlo integration problem, and solve it using importance sampling driven by DNN specific heuristics. Using our lightweight RA estimation method, we show that transient faults lead to far greater accuracy degradation than what todays DNN resiliency tools estimate. We show how our RA estimation tool can help design more resilient DNNs by integrating it with a Network Architecture Search framework.

研究の動機と目的

• DNNの重みと活性化の間で均一な故障確率を仮定する従来のDNNレジリエンシー指標の不正確さを是正すること。
• 一時的故障下での精度低下を反映する、DNN固有のアーキテクチャ的脆弱要因（AVF）としての、新たな指標であるレジリエンシー・アキュラシー（RA）を定式化すること。
• DNN固有のヒューリスティクスを用いた重要度サンプリングにより、分散を低減し収束を加速させる、RAの効率的推定手法を開発すること。
• Neural Architecture Search（NAS）と統合することで、RA推定の影響を示し、よりレジリエントなDNNの設計を可能にすること。
• 大規模なRTL故障シミュレーションと実ハードウェア実験を通じて、提案されたRAの定式化と推定手法の妥当性を検証すること。

提案手法

• DNNのソフトウェア変数ごとの故障確率（重み／活性化）に重み付けされた期待推論精度としてRAを定式化し、変数固有の故障確率を捉える。
• アクセラレータ全体にわたる故障確率を導出するため、規則的なデータ再利用パターンを用いてDNNソフトウェア変数をハードウェアのフリップフロップ（FF）にマッピングする。
• RA推定をモンテカルロ統合問題に再定式化し、統計的サンプリングに基づく推定を可能にする。
• MAC演算回数やレイヤー感度などのDNN固有のヒューリスティクスを用いた重要度サンプリング戦略を提案し、最適なサンプリング分布に近づけ、分散を低減する。
• 高コストなRTLシミュレーションを回避しつつも高い精度を維持する、軽量なRA推定パイプラインを実装する。
• RA推定をNASフレームワークに統合し、故障耐性に優れたDNNアーキテクチャの探索を支援する。

実験結果

リサーチクエスチョン

• RQ1 DNN変数全体に均一な故障確率を仮定することは、レジリエンシー・アキュラシー（RA）推定の不正確さをどのように引き起こすか？
• RQ2 DNNアクセラレータにおける変数固有の故障確率を考慮したRAの正しい定式化は何か？
• RQ3 最小限のサンプリングで精度を維持しつつ、RAを効率的に推定する方法は何か？
• RQ4 一時的故障は、従来の推定値と比較して、DNN推論精度をどの程度低下させるか？
• RQ5 RAを指針とするNASは、一時的ハードウェア故障に対してよりレジリエントなDNNを生成できるか？

主な発見

• 提案されたRAの定式化は、変数固有の故障確率を正しくモデル化しており、均一サンプリングに基づく従来の手法が一時的故障の実際の影響を著しく低く見積もっていることが明らかになった。
• DNN固有のヒューリスティクスを用いた重要度サンプリングは、均一サンプリングと比較して必要なサンプル数を数個のオーダーも低減し、RA推定の高速化を実現した。
• ハードウェア検証済みのシミュレーションでは、一時的故障が従来のツールで推定された値よりも著しく精度を低下させていることが判明し、RAの低下幅は以前の報告より顕著であった。
• 制御パスのフリップフロップを特定的に強化することで、RA向上が最も顕著に現れ、これが故障耐性において重要な役割を果たしていることを示唆している。
• NASにRA推定を統合することで、1イテレーションあたりの評価回数が削減され、最終的なネットワークの故障耐性が向上した。重要度サンプリングを用いた場合、NASの実行時間はわずか25.5％増加にとどまった。
• 大規模なRTL故障シミュレーション（26億回以上の故障インジェクション）と強い相関を示すことで、RA推定フレームワークの正確性と実用性が裏付けられた。