[논문 리뷰] Efficient Implementation of a Multi-Layer Gradient-Free Online-Trainable Spiking Neural Network on FPGA

Ali Mehrabi, Yeshwanth Bethi외 3명|arXiv (Cornell University)|2023. 05. 31.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 최적화된 딥 이벤트 기반 스파iking 신경망 아키텍처(ODESA)의 FPGA 기반 구현을 처음으로 제시하며, 하드웨어 최적화된 가중치 및 임계값 업데이트를 통해 다층, 기울기 없음, 온라인 지도 학습을 가능하게 한다. 시스템은 이벤트 기반 이진 스파이크, 국소 학습 규칙, 고정 단계 업데이트를 사용하여 최소한의 하드웨어 오버헤드로 IRIS 데이터셋에서 86.6%의 정확도를 달성하며, 자원이 제한된 엣지 디바이스에서 소프트웨어 수준에 가까운 성능을 입증한다.

ABSTRACT

This paper presents an efficient hardware implementation of the recently proposed Optimized Deep Event-driven Spiking Neural Network Architecture (ODESA). ODESA is the first network to have end-to-end multi-layer online local supervised training without using gradients and has the combined adaptation of weights and thresholds in an efficient hierarchical structure. This research shows that the network architecture and the online training of weights and thresholds can be implemented efficiently on a large scale in hardware. The implementation consists of a multi-layer Spiking Neural Network (SNN) and individual training modules for each layer that enable online self-learning without using back-propagation. By using simple local adaptive selection thresholds, a Winner-Takes-All (WTA) constraint on each layer, and a modified weight update rule that is more amenable to hardware, the trainer module allocates neuronal resources optimally at each layer without having to pass high-precision error measurements across layers. All elements in the system, including the training module, interact using event-based binary spikes. The hardware-optimized implementation is shown to preserve the performance of the original algorithm across multiple spatial-temporal classification problems with significantly reduced hardware requirements.

연구 동기 및 목표

• 백프로파게이션 없이 자원이 제한된 하드웨어에서 효율적이고 실시간으로 다층 스파iking 신경망을 온라인 학습할 수 있도록 하는 것.
• 비가역적 오차 백프로파게이션과 연속 값 기반 기울기 없이 생물학적으로 타당한 국소 학습 규칙을 구현하는 것.
• 고정 단계 업데이트와 정수 산술을 사용하여 하드웨어 복잡성을 줄이면서도 분류 정확도를 유지하는 것.
• 신경모방 엣지 디바이스에서 스트리밍 패턴 검출을 위한 온칩, 이벤트 기반, 비동기 학습을 구현하는 것.
• 기존 소프트웨어 기반 ODESA와 비교하여 하드웨어 구현의 성능을 표준 벤치마크 데이터셋에서 검증하는 것.

제안 방법

• 시스템은 모든 구성 요소 간에 이벤트 기반 이진 스파이크 통신을 사용하는 다층 SNN을 사용한다.
• 각 층에는 수정된 히브시안 규칙을 사용하여 온라인, 국소 가중치 및 임계값 업데이트를 수행하는 전용 학습 모듈이 포함되어 있다.
• 가중치 업데이트는 고정 단계 규칙을 따르며, w_ij는 목표 스파이크 시간이 현재 가중치를 초과할 경우 2 증가하고, 그렇지 않으면 2 감소한다.
• 임계값 업데이트는 현재 임계값에 기반한 적응형 단계 크기(ΔT)를 사용하여 부족한 값을 방지하며, η_T = 2^-10로 설정된다.
• 학습 과정은 LAS 신호가 GAS 신호 이후에만 발생하도록 마스킹하여 불필요한 업데이트를 줄임으로써 가속화된다.
• 네트워크는 입력 인코딩을 위해 레이턴시 코딩을 사용하고, 하드웨어 재시작 기반 재학습을 위해 훈련 데이터를 온칩 RAM에 저장한다.

실험 결과

연구 질문

• RQ1 백프로파게이션 또는 기울기 계산 없이 하드웨어에서 다층 SNN을 온라인으로 학습시킬 수 있는가?
• RQ2 고정 단계, 정수 기반의 가중치 및 임계값 업데이트는 소프트웨어 기반의 부동소수점 구현과 비교해 분류 정확도를 유지할 수 있는가?
• RQ3 국소 학습 규칙을 사용한 이벤트 기반, 비동기 학습이 최소한의 하드웨어 오버헤드로 표준 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 다양한 무작위 데이터 분할에 걸쳐 학습 동역학의 높은 분산을 감안할 때 시스템의 성능을 유지할 수 있는가?
• RQ5 하드웨어 최적화된 ODESA는 원본 소프트웨어 기반 ODESA와 비교해 정확도와 수렴 속도 측면에서 어떻게 성능을 내는가?

주요 결과

• ODESA의 하드웨어 구현은 20개의 무작위 분할에 걸쳐 평균 정확도 79.5% ± 7.2를 기록했으며, 최고로 86.6%의 정확도를 달성했다.
• 고정소수점 산술과 정규화되지 않은 가중치를 사용했음에도 불구하고 소프트웨어 ODESA(82.8% ± 1.7)와 비교해 정확도가 약간 낮게 나타났다.
• 하드웨어 버전의 표준편차(±7.2)는 소프트웨어 버전(±1.7)보다 높아, 고정 단계 업데이트로 인한 수렴의 불안정성을 나타낸다.
• 시스템은 온칩 RAM만을 사용해 데이터 저장 및 이벤트 기반 스파이크 통신을 통해 온칩, 온라인 학습을 성공적으로 구현했다.
• LAS 신호가 GAS 신호 이후에만 발생하도록 마스킹함으로써 훈련 에포크 수가 크게 감소했고, 수렴 속도가 가속화되었다.
• FPGA 구현은 높은 에너지 효율성과 낮은 자원 사용량을 달성하여 실시간, 지속적인 학습에 적합한 엣지 디바이스에 적합하다.