[논문 리뷰] Recognizing Images with at most one Spike per Neuron

Christoph Stöckl, Wolfgang Maass|arXiv (Cornell University)|2019. 12. 30.

Advanced Memory and Neural Computing인용 수 3

한 줄 요약

이 논문은 지연 기반 이진 코드화를 사용해 각 신경망 뉴런당 하나의 스파이크로 아날로그 활성화를 인코딩함으로써 인공 신경망(ANNs)을 스파iking 신경망(SNNs)으로 변환하는 새로운 방법인 AMOS(At Most One Spike) 변환을 소개한다. 이 방법은 ImageNet에서 80.97%의 top-1 정확도와 95.82%의 top-5 정확도를 달성하여 SNN 성능, 지연 시간, 처리량을 크게 향상시키며, Swish와 같이 레이트 기반 방법이 처리할 수 없는 비-ReLU 게이트의 변환도 가능하게 한다.

ABSTRACT

In order to port the performance of trained artificial neural networks (ANNs) to spiking neural networks (SNNs), which can be implemented in neuromorphic hardware with a drastically reduced energy consumption, an efficient ANN to SNN conversion is needed. Previous conversion schemes focused on the representation of the analog output of a rectified linear (ReLU) gate in the ANN by the firing rate of a spiking neuron. But this is not possible for other commonly used ANN gates, and it reduces the throughput even for ReLU gates. We introduce a new conversion method where a gate in the ANN, which can basically be of any type, is emulated by a small circuit of spiking neurons, with At Most One Spike (AMOS) per neuron. We show that this AMOS conversion improves the accuracy of SNNs for ImageNet from 74.60% to 80.97%, thereby bringing it within reach of the best available ANN accuracy (85.0%). The Top5 accuracy of SNNs is raised to 95.82%, getting even closer to the best Top5 performance of 97.2% for ANNs. In addition, AMOS conversion improves latency and throughput of spike-based image classification by several orders of magnitude. Hence these results suggest that SNNs provide a viable direction for developing highly energy efficient hardware for AI that combines high performance with versatility of applications.

연구 동기 및 목표

• 이미지 분류에서 인공 신경망(ANNs)과 스파킹 신경망(SNNs) 간의 성능 격차를 해소하기 위해.
• 특히 Swish와 같은 비-ReLU 활성화 함수를 포함한 레이트 기반 ANN에서 SNN으로의 변환에 한계가 있는 문제를 극복하기 위해.
• 아날로그 출력을 단일 스파이크 인코딩으로 대체하여 효율적이고 저지연, 고처리량 SNN 추론을 가능하게 하기 위해.
• SNN이 보편적인 변환 방법을 통해 어떤 활성화 함수에도 적용 가능한 경우 경쟁 가능한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• AMOS 유닛은 각 ANN 게이트를 아날로그 값을 최대 한 번의 스파이크로 인코딩하는 소형 스파이킹 뉴런 회로로 대체한다.
• 고정된 지연 시간과 가중치 계수를 사용하여 입력 값의 이진 코드 표현을 구현함으로써 정밀하고 노이즈에 강건한 인코딩을 가능하게 한다.
• 임계값 회로(McCulloch-Pitts 뉴런) 기반으로 구현되며, 시간적 통합이 필요 없어 고속 파이프라인 처리를 가능하게 한다.
• ReLU 함수의 경우 AMOS 유닛은 이진 코드화된 아날로그-디지털 변환기로 간소화되어 구현이 용이하다.
• 파이프라인 아키텍처를 지원하여 매 시간 단위당 한 장의 이미지가 처리 가능해 이론적 최대 처리량을 달성한다.
• 비-ReLU 게이트(예: Swish)의 경우, 목표 활성화 함수를 근사하기 위해 AMOS 유닛의 파rameter를 종단 간(end-to-end)으로 학습한다.

실험 결과

연구 질문

• RQ1 모든 활성화 함수, 특히 Swish와 같은 비-ReLU 유형까지도 적용 가능한 보편적인 ANN에서 SNN로의 변환 방법을 개발할 수 있는가?
• RQ2 뉴런당 하나의 스파이크 인코딩을 사용해 레이트 기반 방법에 의존하지 않고 ImageNet에서 높은 정확도를 달성할 수 있는가?
• RQ3 레이트 기반 SNN 변환에 비해 AMOS 변환은 지연 시간과 처리량을 크게 향상시키는가?
• RQ4 AMOS 방법은 Swish 활성화 함수를 사용하는 현대적이고 복잡한 ANN, 예를 들어 EfficientNet과 같은 모델에 적용 가능한가?
• RQ5 AMOS 변환된 SNN에서 네트워크 깊이(지연 시간)와 크기(뉴런 수) 사이에 상충 관계가 존재하는가?

주요 결과

• AMOS 변환은 ImageNet 2012에서 80.97%의 top-1 정확도를 달성하여 이전 방법의 74.60%보다 뚜렷한 향상이 있었다.
• top-5 정확도는 95.82%에 도달하여 최고 수준의 ANN 성능인 97.2%에 근접했다.
• 레이트 기반 방법이 처리할 수 없는 Swish 활성화 함수를 사용하는 EfficientNet 모델의 성공적인 변환을 가능하게 하였다.
• 처리량은 매 시간 단위당 한 장의 이미지로 향상되어 이론적 최대치를 달성했으며, 지연 시간은 수개의 주기로 감소했다.
• ReLU 함수용 AMOS 유닛은 이진 코드화된 아날로그-디지털 변환기로 간소화되어 효율적인 하드웨어 매핑이 가능하다.
• 이 방법은 파이프라인 추론을 지원하며, 각 스파이킹 뉴런이 제한된 예측 가능한 시간 단위 동안만 할당되어 재사용 및 효율적인 스케줄링이 가능하다.