[논문 리뷰] SoftSNN: Low-Cost Fault Tolerance for Spiking Neural Network Accelerators under Soft Errors

Rachmad Vidya Wicaksana Putra, Muhammad Abdullah Hanif외 1명|arXiv (Cornell University)|2022. 03. 10.

Advanced Memory and Neural Computing인용 수 3

한 줄 요약

SoftSNN는 재실행 없이 가중치 레지스터와 뉴런에서 발생하는 소프트 에러를 완화하는 저비용 장애 내성 기법을 제안한다. 소프트 에러 하에서 SNN 동작을 분석하고, 가중치를 제한하고 뉴런을 보호하는 기법을 적용하며 경량 하드웨어 개선을 통합함으로써, 고장률이 높아도 정확도 저하가 3% 이내로 유지되며, 재실행 기반 방법 대비 지연 시간과 에너지 소비를 각각 최대 3배와 2.3배 감소시킨다.

ABSTRACT

Specialized hardware accelerators have been designed and employed to maximize the performance efficiency of Spiking Neural Networks (SNNs). However, such accelerators are vulnerable to transient faults (i.e., soft errors), which occur due to high-energy particle strikes, and manifest as bit flips at the hardware layer. These errors can change the weight values and neuron operations in the compute engine of SNN accelerators, thereby leading to incorrect outputs and accuracy degradation. However, the impact of soft errors in the compute engine and the respective mitigation techniques have not been thoroughly studied yet for SNNs. A potential solution is employing redundant executions (re-execution) for ensuring correct outputs, but it leads to huge latency and energy overheads. Toward this, we propose SoftSNN, a novel methodology to mitigate soft errors in the weight registers (synapses) and neurons of SNN accelerators without re-execution, thereby maintaining the accuracy with low latency and energy overheads. Our SoftSNN methodology employs the following key steps: (1) analyzing the SNN characteristics under soft errors to identify faulty weights and neuron operations, which are required for recognizing faulty SNN behavior; (2) a Bound-and-Protect technique that leverages this analysis to improve the SNN fault tolerance by bounding the weight values and protecting the neurons from faulty operations; and (3) devising lightweight hardware enhancements for the neural hardware accelerator to efficiently support the proposed technique. The experimental results show that, for a 900-neuron network with even a high fault rate, our SoftSNN maintains the accuracy degradation below 3%, while reducing latency and energy by up to 3x and 2.3x respectively, as compared to the re-execution technique.

연구 동기 및 목표

• 소프트 에러로 인해 가중치와 뉴런 연산이 손상되어 정확도 저하가 발생하는 SNN 가속기의 심각한 신뢰성 문제를 해결하기 위함.
• 중복된 재실행 기법으로 인한 높은 지연 시간과 에너지 오버헤드를 피할 수 있는 장애 내성 메커니즘을 개발하기 위함.
• 실시간 및 에너지 제약이 있는 응용 분야(예: IoT 및 엣지 컴퓨팅)에서 실현 가능한 저비용 하드웨어 및 성능 오버헤드로 정밀한 추론 정확도를 유지하기 위함.
• 디지털 SNN 구현을 전용으로 설계한 경량이며 하드웨어 효율적인 솔루션을 개발하기 위함이며, 아날로그 장애 모델이나 일반적인 ECC/DMR 접근 방식과는 다름.

제안 방법

• 소프트 에러 하에서 SNN의 특성을 분석하여 잘못된 출력을 유도하는 고장 난 가중치와 뉴런 연산을 규명하기 위함.
• 가중치 값을 안전한 범위 내로 제한하고 하드웨어 인식 설계를 통해 뉴런을 고장 난 연산으로부터 보호하는 Bound-and-Protect (BnP) 기법을 제안함.
• 재실행 없이 손상된 비트를 수정할 수 있도록, 시냅스와 뉴런에 하드닝된 구성 요소를 포함한 SNN 연산 엔진에 경량 하드웨어 개선을 도입함.
• 지역 메모리와 뉴런 논리 회로 수준에서 레지스터 및 회로 수준에서의 가중치 제한과 뉴런 보호를 통합한 장애 내성 아키텍처를 설계함.
• 실시간 및 에너지 효율적인 구현을 목표로 8비트 정밀도, 256x256개의 시냅스, 256개의 뉴런을 갖춘 디지털 SNN 가속기용 최적화를 수행함.
• 다양한 네트워크 크기와 고장률에서 기준 및 재실행 기반 기법과의 비교 평가를 위해 고장 주입을 통한 검증을 수행함.

실험 결과

연구 질문

• RQ1 SNN 가속기에서 가중치 레지스터와 뉴런 연산에 발생하는 소프트 에러가 추론 정확도와 시스템 신뢰성에 어떤 영향을 미치는가?
• RQ2 재실행을 반복하지 않고도 소프트 에러 완화를 달성할 수 있는가? 이를 통해 SNN 가속기에서 지연 시간과 에너지 오버헤드를 줄일 수 있는가?
• RQ3 소프트 에러 하에서 SNN의 핵심 특성 중에서 경량이고 효과적인 장애 내성 기법을 설계하기 위해 활용할 수 있는 요소는 무엇인가?
• RQ4 가중치 제한과 뉴런 보호를 최소한의 면적과 성능 오버헤드로 하드웨어에서 효율적으로 구현하는 방법은 무엇인가?
• RQ5 제안된 Bound-and-Protect 기법은 고장률이 높은 상황에서도 정확도를 유지할 수 있는가? 재실행 기반 완화 기법보다 성능 면에서 뛰어나게 작용하는가?

주요 결과

• 900개 뉴런을 갖는 SNN에서 SoftSNN는 고장률이 높아도 정확도 저하가 3% 이내로 유지되어 기준 및 재실행 기반 방법보다 뛰어난 성능을 보였다.
• SoftSNN는 재실행 기반 완화 기법 대비 지연 시간을 최대 3배, 에너지 소비를 최대 2.3배 감소시켰다.
• BnP1의 경우 BnP가 강화된 연산 엔진의 면적 오버헤드는 14%이며, BnP2/BnP3의 경우 18%로, 신뢰성 향상에 비해 저비용의 트레이드오프를 제공한다.
• 제안된 하드웨어 개선은 기준 SNN 대비 에너지 소비가 1.6배 이하로 증가하지만, 재실행 기반 기법은 3배의 에너지 오버헤드를 유발한다.
• 다양한 네트워크 크기(N400에서 N3600)와 워크로드(MNIST 및 패션 MNIST)에서 일관된 성능 및 정확도 향상을 보이며 효과적이었다.
• 결과적으로 중복된 재실행을 피할 수 있어 성능 및 에너지 비용을 최소화하면서 신뢰성 있는 SNN 실행이 가능함을 입증하였으며, 이는 실시간 및 에너지 제약이 있는 응용 분야에 적합하다.