[論文レビュー] SoftSNN: Low-Cost Fault Tolerance for Spiking Neural Network Accelerators under Soft Errors

Rachmad Vidya Wicaksana Putra, Muhammad Abdullah Hanif+1 more|arXiv (Cornell University)|Mar 10, 2022

Advanced Memory and Neural Computing被引用数 3

ひとこと要約

SoftSNNは、再実行を伴わずに重みレジスタおよびニューロンにおけるソフトエラーを緩和する低オーバーヘッドなフォールトトレランス手法を提案する。ソフトエラー下でのSNN動作を分析し、重みを制限しニューロンを保護する技術を適用し、軽量なハードウェア拡張を統合することで、高い故障率下でも3%以内の精度低下を維持する。再実行ベースの手法と比較して、遅延とエネルギー消費を最大3倍および2.3倍まで削減する。

ABSTRACT

Specialized hardware accelerators have been designed and employed to maximize the performance efficiency of Spiking Neural Networks (SNNs). However, such accelerators are vulnerable to transient faults (i.e., soft errors), which occur due to high-energy particle strikes, and manifest as bit flips at the hardware layer. These errors can change the weight values and neuron operations in the compute engine of SNN accelerators, thereby leading to incorrect outputs and accuracy degradation. However, the impact of soft errors in the compute engine and the respective mitigation techniques have not been thoroughly studied yet for SNNs. A potential solution is employing redundant executions (re-execution) for ensuring correct outputs, but it leads to huge latency and energy overheads. Toward this, we propose SoftSNN, a novel methodology to mitigate soft errors in the weight registers (synapses) and neurons of SNN accelerators without re-execution, thereby maintaining the accuracy with low latency and energy overheads. Our SoftSNN methodology employs the following key steps: (1) analyzing the SNN characteristics under soft errors to identify faulty weights and neuron operations, which are required for recognizing faulty SNN behavior; (2) a Bound-and-Protect technique that leverages this analysis to improve the SNN fault tolerance by bounding the weight values and protecting the neurons from faulty operations; and (3) devising lightweight hardware enhancements for the neural hardware accelerator to efficiently support the proposed technique. The experimental results show that, for a 900-neuron network with even a high fault rate, our SoftSNN maintains the accuracy degradation below 3%, while reducing latency and energy by up to 3x and 2.3x respectively, as compared to the re-execution technique.

研究の動機と目的

• SNNアクセラレータにおけるソフトエラーが重みとニューロンの演算を破損させ、精度の低下を引き起こすという、深刻な信頼性課題に対処すること。
• 再実行に起因する高い遅延とエネルギー消費を回避するフォールトトレランス機構の開発。
• リアルタイムかつエネルギー制約のあるアプリケーション（例：IoTやエッジコンピューティング）向けに、ソフトエラー下でも高い推論精度を維持しつつ、ハードウェアおよびパフォーマンスオーバーヘッドを最小限に抑えること。
• デジタル実装を想定したSNNに特化した、軽量でハードウェア効率の良いソリューションを設計すること。これはアナログフォールトモデルや一般向けECC/DMR手法とは異なる。

提案手法

• ソフトエラー下でのSNN特性を分析し、誤った出力を引き起こす要因となる不正な重みとニューロン演算を同定すること。
• 重み値を安全な範囲内に制限し、ハードウェアに配慮した設計によりニューロンの不正な演算から保護する「バウンディング＆プロテクション（BnP）」技術を提案すること。
• 再実行なしに破損したビットを是正できるように、SNN計算エンジンに軽量なハードウェア拡張を導入すること。具体的には、シナプスとニューロンにハード化されたコンponentsを実装する。
• 計算エンジンのローカルメモリとニューロン論理部に焦点を当て、レジスタレベルおよび回路レベルで重みのバウンディングとニューロン保護を統合したフォールトトレラントアーキテクチャを設計すること。
• リアルタイムかつエネルギー効率の良い展開を想定し、8ビット精度、256×256のシナプス、256のニューロンを有するデジタルSNNアクセラレータ向けに実装を最適化すること。
• 複数のネットワークサイズと故障率において、ベースラインおよび再実行手法と比較して、故障インジェクションと評価を実施することで、手法の有効性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 SNNアクセラレータにおけるソフトエラー（特に重みレジスタおよびニューロン演算に起因するもの）は、推論精度とシステム信頼性にどのように影響を与えるか？
• RQ2 再実行を伴わないソフトエラー緩和が可能であるか。これにより、SNNアクセラレータにおける遅延とエネルギー消費のオーバーヘッドを低減できるか？
• RQ3 軽量で効果的なフォールトトレランス機構を設計するために活用可能な、ソフトエラー下でのSNNの主な特性は何か？
• RQ4 重みのバウンディングとニューロン保護を、面積とパフォーマンスオーバーヘッドを最小限に抑えてハードウェアで効率的に実装する方法は何か？
• RQ5 提案されたバウンディング＆プロテクション技術は、高い故障率下でも精度をどれほど維持できるか。また、再実行ベースの緩和手法と比較して、どの程度優れているか？

主な発見

• 900ニューロンのSNNにおいて、SoftSNNは高い故障率下でも精度低下を3%未満に抑えることができ、ベースラインおよび再実行手法を顕著に上回る。
• SoftSNNは再実行ベースの緩和手法と比較して、遅延を最大3倍、エネルギー消費を最大2.3倍まで削減する。
• BnP1では14%、BnP2/BnP3では18%の面積オーバーヘッドを示し、信頼性の向上に向けた低コストなトレードオフを実現している。
• 提案されたハードウェア拡張は、緩和なしのベースラインSNNと比較して1.6倍未満のエネルギー消費に抑えられるが、再実行手法では3倍のエネルギーオーバーヘッドが発生する。
• MNISTおよびファッションMNISTのワークロードを含め、さまざまなネットワークサイズ（N400〜N3600）において一貫したパフォーマンスと精度の向上を示している。
• 再実行の冗長性を回避することで、最小限のパフォーマンスおよびエネルギーコストで信頼性の高いSNN実行が可能であることが示された。これは、リアルタイムおよびエネルギー制約のあるアプリケーションに適している。