[論文レビュー] A Survey on Impact of Transient Faults on BNN Inference Accelerators

Navid Khoshavi, Connor Broyles+1 more|arXiv (Cornell University)|Apr 10, 2020

Advanced Neural Network Applications参考文献 23被引用数 13

ひとこと要約

本論文は、FPGAを用いた故障挿入を用いて、二値化ニューラルネットワーク（BNN）推論アクセラレータに対する一時的ソフトエラー（特にセルフイベントアンバート（SEU）およびマルチビットアンバート（MBU））の影響を調査する。活性化層が極めて脆弱であることが示され、故障蓄積が顕著な状況では分類精度が最大76.7%低下することが判明した。

ABSTRACT

Over past years, the philosophy for designing the artificial intelligence algorithms has significantly shifted towards automatically extracting the composable systems from massive data volumes. This paradigm shift has been expedited by the big data booming which enables us to easily access and analyze the highly large data sets. The most well-known class of big data analysis techniques is called deep learning. These models require significant computation power and extremely high memory accesses which necessitate the design of novel approaches to reduce the memory access and improve power efficiency while taking into account the development of domain-specific hardware accelerators to support the current and future data sizes and model structures.The current trends for designing application-specific integrated circuits barely consider the essential requirement for maintaining the complex neural network computation to be resilient in the presence of soft errors. The soft errors might strike either memory storage or combinational logic in the hardware accelerator that can affect the architectural behavior such that the precision of the results fall behind the minimum allowable correctness. In this study, we demonstrate that the impact of soft errors on a customized deep learning algorithm called Binarized Neural Network might cause drastic image misclassification. Our experimental results show that the accuracy of image classifier can drastically drop by 76.70% and 19.25% in lfcW1A1 and cnvW1A1 networks,respectively across CIFAR-10 and MNIST datasets during the fault injection for the worst-case scenarios

研究の動機と目的

• 自己走行車両などの安全が求められるアプリケーションにおいて、BNN推論アクセラレータに及ぼす一時的ソフトエラーの実世界への影響を分析すること。
• BNNアクセラレータ内での最も脆弱なコンponent（特に層、データ型（重み、活性化）、故障タイプ（SEU、MBU））を同定すること。
• 時間経過に伴う故障蓄積が、BNNアクセラレータの分類精度およびシステム信頼性に与える影響を評価すること。
• 実際のハードウェア挙動を反映するように設計された、リアルなFPGAベースの故障挿入フレームワークを構築・検証すること。

提案手法

• FPGAベースのBNNアクセラレータを用いて、修正版FINNフレームワークを用いて故障挿入実験を実施し、一時的ソフトエラーをシミュレートした。
• 組み合わせ論理およびBNNアクセラレータ内のメモリ領域に、SEU（1ビット反転）およびMBU（複数ビット反転）を挿入した。
• 特にlfcW1A1およびcnvW1A1という2つのBNNアーキテクチャにおいて、異なるネットワーク層（特に活性化層および重み層）を対象とした。
• 時間的・空間的分布を変化させた状態で、最大100件の故障までを想定し、故障数に応じた分類精度の低下を測定した。
• CIFAR-10およびMNISTデータセットを用いて、実際のワークロードおよび故障挿入シナリオ下での性能を評価した。
• 故障の伝搬を分析し、初期層（例：最初の畳み込み層）での汚染されたデータが、下流の計算にどのように影響を及ぼすかを追跡した。

実験結果

リサーチクエスチョン

• RQ1 実際の故障挿入条件下で、SEUおよびMBUはBNN推論アクセラレータの分類精度にどのように影響を与えるか？
• RQ2 BNNアクセラレータにおいて、どの層およびどのデータ型（重み、活性化）がソフトエラーに対して最も脆弱か？
• RQ3 時間経過に伴うソフトエラーの蓄積は、BNN推論の長期的信頼性および精度にどのように影響を与えるか？
• RQ4 MBUはSEUに比べて、BNNアクセラレータ出力精度にどのように相対的に影響を与えるか？
• RQ5 ネットワーク内の層の位置（例：初期層 vs. 後段層）は、ソフトエラーに起因する精度低下に対する感受性にどのように影響を与えるか？

主な発見

• lfcW1A1ネットワークでは、活性化層に100件のSEUを挿入した最悪ケースで、分類精度が98.4%から22.92%まで76.7%低下した。
• cnvW1A1ネットワークでは、最悪ケースのSEU挿入条件下で19.25%の精度低下を示したのに対し、lfcW1A1では76.7%の大幅な低下を記録した。
• 活性化層は重み層よりも顕著に脆弱であり、20件を超える故障蓄積が生じると、故障に起因する精度低下が顕著に現れた。
• MBUはSEUよりも高い影響を示した。複数ビットおよび隣接データの破損により、エラー伝搬が拡大し、システム全体の劣化が顕著になった。
• ネットワークの最初の層が最も脆弱であり、初期層の故障が連鎖的なエラーを引き起こし、最終的な分類精度を著しく低下させた。
• 平均的な精度低下はやや穏やかであったが、最悪ケースでは極めて深刻な誤分類リスクが明らかになった。特に、安全が求められるアプリケーションにおいて顕著である。