[논문 리뷰] Hardware Implementation of Spiking Neural Networks Using Time-To-First-Spike Encoding

Seongbin Oh, Dongseok Kwon외 7명|arXiv (Cornell University)|2020. 06. 09.

Advanced Memory and Neural Computing참고 문헌 48인용 수 16

한 줄 요약

이 논문은 정보가 첫 번째 스파이크의 지연 시간에 의해 인코딩되는 시간-첫스파이크-이니셔티브(TTFS) 인코딩을 사용하는 하드웨어 효율적인 스파iking 신경망(SNN)을 제시한다. 제안된 SNN은 시간 기반 역전파를 사용하여 MNIST에서 96.90%의 정확도를 달성하였으며, 256개의 시간 단계에서 비율 인코딩된 SNN보다 15.12배의 전력 절감과 5.68배의 빠른 추론 속도를 기록하였다. 이는 NOR 유형의 아날로그 메모리와 반복 기간 인식 신경 회로를 사용한 SPICE 시뮬레이션을 통해 검증되었다.

ABSTRACT

Hardware-based spiking neural networks (SNNs) are regarded as promising candidates for the cognitive computing system due to low power consumption and highly parallel operation. In this work, we train the SNN in which the firing time carries information using temporal backpropagation. The temporally encoded SNN with 512 hidden neurons showed an accuracy of 96.90% for the MNIST test set. Furthermore, the effect of the device variation on the accuracy in temporally encoded SNN is investigated and compared with that of the rate-encoded network. In a hardware configuration of our SNN, NOR-type analog memory having an asymmetric floating gate is used as a synaptic device. In addition, we propose a neuron circuit including a refractory period generator for temporally encoded SNN. The performance of the 2-layer neural network consisting of synapses and proposed neurons is evaluated through circuit simulation using SPICE. The network with 128 hidden neurons showed an accuracy of 94.9%, a 0.1% reduction compared to that of the system simulation of the MNIST dataset. Finally, the latency and power consumption of each block constituting the temporal network is analyzed and compared with those of the rate-encoded network depending on the total time step. Assuming that the total time step number of the network is 256, the temporal network consumes 15.12 times lower power than the rate-encoded network and can make decisions 5.68 times faster.

연구 동기 및 목표

• 인지 계산을 위한 저전력, 고속 하드웨어 구현의 스파킹 신경망(SNN) 개발
• TTFS 인코딩된 SNN이 비율 인코딩된 SNN과 비교해 장치 변동성에 대해 얼마나 견고한지 조사
• 향상된 시간 인코딩 정밀도를 위해 반복 기간 생성기를 갖춘 맞춤형 신경 회로 설계
• SPICE 시뮬레이션을 사용하여 TTFS 기반 SNN의 전력, 지연, 정확도 간 상호 교환 조건 평가
• 비대칭 플로ating 게이트를 갖춘 NOR 유형 아날로그 메모리를 사용한 하드웨어 실현 가능성 입증

제안 방법

• 정보가 뉴런의 첫 번째 스파이크 시간에 의해 인코딩되는 네트워크를 훈련하기 위해 시간 기반 역전파를 사용한다.
• 생물학적 스파이크 타이밍을 더 정확하게 모델링하기 위해 반복 기간 생성기를 갖춘 맞춤형 뉴런 회로를 설계한다.
• 비휘발성 저장 및 아날로그 가중치 업데이트를 가능하게 하는 비대칭 플로팅 게이트를 갖춘 NOR 유형 아날로그 메모리로 시냅스 가중치를 구현한다.
• 전력, 지연, 정확도 평가를 위해 2층 아키텍처와 128개의 히든 뉴런을 사용하여 SPICE에서 네트워크를 시뮬레이션한다.
• 총 시간 단계를 256으로 설정하여 동일한 조건에서 비율 인코딩된 SNN과 성능을 비교한다.
• 장치 변동성이 네트워크 정확도에 미치는 영향을 TTFS 및 비율 인코딩된 SNN 간에 정량적으로 비교한다.

실험 결과

연구 질문

• RQ1 동일한 훈련 및 하드웨어 제약 조건에서 TTFS 인코딩된 SNN의 정확도는 비율 인코딩된 SNN과 비교해 어떻게 되는가?
• RQ2 장치 변동성이 TTFS 인코딩된 SNN의 추론 정확도에 미치는 영향은 비율 인코딩된 SNN과 비교해 어떠한가?
• RQ3 TTFS 인코딩된 SNN은 비율 인코딩된 대안과 비교해 얼마나 전력 소비를 줄이고 추론 속도를 향상시킬 수 있는가?
• RQ4 뉴런 회로에 반복 기간 생성기가 포함될 경우 TTFS 인코딩된 SNN의 성능에 어떤 영향을 미치는가?
• RQ5 비대칭 플로팅 게이트를 갖춘 NOR 유형 아날로그 메모리를 사용한 하드웨어 최적화된 SNN은 높은 정확도를 유지하면서 저전력과 고속을 동시에 달성할 수 있는가?

주요 결과

• TTFS 인코딩된 SNN은 512개의 히든 뉴런을 사용하여 시간 기반 역전파를 통해 MNIST 테스트 세트에서 96.90%의 정확도를 달성하였다.
• 128개의 히든 뉴런을 갖춘 하드웨어 최적화된 SNN은 SPICE 시뮬레이션에서 94.9%의 정확도를 기록하였으며, 시스템 시뮬레이션 결과와 0.1%의 감소를 보였다.
• 256개의 시간 단계에서 TTFS 네트워크는 비율 인코딩된 네트워크보다 15.12배 더 적은 전력을 소비하였다.
• 동일한 시간 단계 설정에서 TTFS 네트워크는 비율 인코딩된 네트워크보다 결정을 5.68배 더 빠르게 내렸다.
• 장치 변동성은 TTFS 인코딩된 SNN에 비해 비율 인코딩된 SNN에 더 작은 부정적 영향을 미쳤으며, 이는 개선된 견고성을 시사한다.
• 제안된 반복 기간 생성 기능을 갖춘 뉴런 회로는 하드웨어 시뮬레이션에서 시간 인코딩 정밀도를 효과적으로 유지하였다.