[논문 리뷰] Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation

Qingyan Meng, Mingqing Xiao외 4명|arXiv (Cornell University)|2022. 05. 01.

Advanced Memory and Neural Computing인용 수 11

한 줄 요약

이 논문은 스파이크 발화 빈도를 미분 가능한 표현으로 간주함으로써 고성능·저지연 스파iking 신경망(SNNs)을 훈련시키는 새로운 방법인 스파이크 표현의 미분(DSR)을 제안한다. SNN 동역학을 부분미분 가능 맵핑으로 모델링하고 스파이크 임계값 및 새로운 초매개변수를 훈련시킴으로써, 시간 단계를 최소화하면서도 CIFAR-10, CIFAR-100, ImageNet, DVS-CIFAR10에서 최신 기술 수준의 정확도를 달성하여 성능과 지연 간의 상충 관계를 극복한다.

ABSTRACT

Spiking Neural Network (SNN) is a promising energy-efficient AI model when implemented on neuromorphic hardware. However, it is a challenge to efficiently train SNNs due to their non-differentiability. Most existing methods either suffer from high latency (i.e., long simulation time steps), or cannot achieve as high performance as Artificial Neural Networks (ANNs). In this paper, we propose the Differentiation on Spike Representation (DSR) method, which could achieve high performance that is competitive to ANNs yet with low latency. First, we encode the spike trains into spike representation using (weighted) firing rate coding. Based on the spike representation, we systematically derive that the spiking dynamics with common neural models can be represented as some sub-differentiable mapping. With this viewpoint, our proposed DSR method trains SNNs through gradients of the mapping and avoids the common non-differentiability problem in SNN training. Then we analyze the error when representing the specific mapping with the forward computation of the SNN. To reduce such error, we propose to train the spike threshold in each layer, and to introduce a new hyperparameter for the neural models. With these components, the DSR method can achieve state-of-the-art SNN performance with low latency on both static and neuromorphic datasets, including CIFAR-10, CIFAR-100, ImageNet, and DVS-CIFAR10.

연구 동기 및 목표

• 기존 방법들이 정확도를 희생하거나 과도한 시간 단계를 요구하는 바, 고성능 SNN을 저지연으로 훈련시키는 과제를 해결하기 위해.
• SNN의 역전파에서 스파이크 트레인의 비미분 가능성으로 인해 기반 기반 훈련이 방해되는 문제를 해결하기 위해.
• 시간 영역을 거쳐 역전파하지 않고도 효과적인 역전파를 가능하게 하여 훈련 비용을 감소시키기 위해.
• 유한한 시간 단계로 SNN 동역학을 근사함에 따라 발생하는 표현 오차를 최소화하여 저지연에서 정확도를 향상시키기 위해.
• 깊은 네트워크와 뉴로모르픽 데이터셋에서의 방법의 유효성을 입증하고, 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 스파이크 트레인을 가중치가 부여된 발화 빈도 표현으로 인코딩하여, 역전파의 주요 정보 매개체로 간주한다.
• 일반적인 SNN(예: IF, LIF)의 전방 계산을 부분미분 가능 맵핑으로 모델링함으로써, 비미분 가능한 스파이크 함수가 있음에도 불구하고 기반 기반 훈련이 가능하도록 한다.
• 각 시간 단계에서 개별 스파이크가 아닌 스파이크 표현을 대상으로 하여 시간에 따른 역전파를 피함으로써, 시간에 따른 역전파를 회피한다.
• 유한한 시간 단계로 인한 근사 오차를 줄이기 위해 각 레이어별 훈련 가능한 스파이크 임계값을 도입한다.
• IF 및 LIF 모델을 위한 새로운 초매개변수를 도입하여 표현 오차를 추가로 최소화하고 훈련 안정성을 향상시킨다.
• 표현에 표준 역전파를 적용하여 종단 간(end-to-end)으로 적용함으로써 깊은 SNN의 효율적 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시간에 따른 직접적인 역전파를 피하는 것으로 고성능·저지연 SNN을 훈련시킬 수 있는가?
• RQ2 스파이크 발화 빈도를 미분 가능한 표현으로 사용하여 효과적인 기반 기반 훈련이 가능한가?
• RQ3 유한한 시간 단계로 인한 근사 오차는 저지연 SNN 훈련에서 어떻게 최소화할 수 있는가?
• RQ4 스파이크 임계값을 훈련하고 새로운 초매개변수를 도입하면 저지연에서 SNN 성능이 상당히 향상되는가?
• RQ5 DSR 방법은 ResNet 아키텍처까지 110층에 이르는 깊은 네트워크 아키텍처와 DVS-CIFAR10과 같은 뉴로모르픽 데이터셋으로 확장 가능한가?

주요 결과

• DSR는 20개의 시간 단계로 CIFAR-10에서 최신 기술 수준의 성능를 달성하여 PreAct-ResNet-18를 사용해 95.24%의 정확도를 기록한다.
• CIFAR-100에서는 20개의 시간 단계로 86.58%의 정확도를 기록하여 저지연에서 기존 방법을 능가한다.
• ImageNet에서는 단 10개의 시간 단계로 75.1%의 상위-1 정확도를 달성하여 대규모 데이터셋에서 강력한 성능를 입증한다.
• DVS-CIFAR10에서는 20개의 시간 단계로 92.1%의 정확도를 기록하여 뉴로모르픽 데이터에 대한 뛰어난 일반화 능력을 보여준다.
• 제거 실험 결과, 임계값을 훈련하고 새로운 초매개변수를 도입함으로써 표현 오차가 상당히 감소하며, 기준 설정 대비 정확도가 최대 4.79% 향상됨을 확인하였다.
• 깊은 네트워크로의 효과적인 확장이 가능하며, ResNet 아키텍처에서 110층까지 성능 향상이 관찰되어 더 깊은 모델에 대한 강력한 잠재력을 보여준다.