[논문 리뷰] Direct Training for Spiking Neural Networks: Faster, Larger, Better

Yujie Wu, Lei Deng외 3명|arXiv (Cornell University)|2018. 09. 16.

Advanced Memory and Neural Computing인용 수 106

한 줄 요약

이 논문은 명시적으로 반복적인 LIF 모델, NeuNorm 정규화, 그리고 최적화된 레이트 코딩을 사용하여 대규모의 더 빠른 SNN 학습을 가능하게 하고, neuromorphic 및 non-spiking 데이터셋에서 경쟁력 있는 정확도를 달성하는 심층 Spiking Neural Networks를 직접 학습하는 프레임워크를 제시합니다.

ABSTRACT

Spiking neural networks (SNNs) that enables energy efficient implementation on emerging neuromorphic hardware are gaining more attention. Yet now, SNNs have not shown competitive performance compared with artificial neural networks (ANNs), due to the lack of effective learning algorithms and efficient programming frameworks. We address this issue from two aspects: (1) We propose a neuron normalization technique to adjust the neural selectivity and develop a direct learning algorithm for deep SNNs. (2) Via narrowing the rate coding window and converting the leaky integrate-and-fire (LIF) model into an explicitly iterative version, we present a Pytorch-based implementation method towards the training of large-scale SNNs. In this way, we are able to train deep SNNs with tens of times speedup. As a result, we achieve significantly better accuracy than the reported works on neuromorphic datasets (N-MNIST and DVS-CIFAR10), and comparable accuracy as existing ANNs and pre-trained SNNs on non-spiking datasets (CIFAR10). {To our best knowledge, this is the first work that demonstrates direct training of deep SNNs with high performance on CIFAR10, and the efficient implementation provides a new way to explore the potential of SNNs.

연구 동기 및 목표

• 깊은 SNN의 직접 학습이 ANN에 비해 여전히 왜 도전적인지 동기부여 및 문제 제기.
• 훈련과 수렴을 개선하기 위한 알고리즘적 진보(NeuNorm, 레이트 코딩 최적화) 제안.
• 대규모 SNN를 가능하게 하는 PyTorch 호환의 명시적으로 반복적인 LIF 공식화 제공.
• neuromorphic 및 비-발화 데이터셋에서 상당한 학습 가속과 경쟁력 있는 정확도 입증.

제안 방법

• Leaky Integrate-and-Fire (LIF) 모델을 ML 프레임워크와의 호환성을 위해 명시적으로 반복적인 형태로 변환.
• 레이어 내 특성 맵 간 신경 선택성의 균형을 맞추기 위해 뉴런 활동을 정규화하는 NeuNorm 도입.
• 시뮬레이션 길이를 줄이기 위해 입력 인코딩 및 출력 디코딩에 대한 레이트 코딩 최적화.
• Spatio-Temporal Backpropagation (STBP) 프레임워크에 NeuNorm 및 수정된 LIF를 통합하여 직접 학습 가능하게 함.
• 엔드-투-엔드 딥 SNN 학습을 위한 의사코드 및 PyTorch 구현(Algorithm 2) 제공.

실험 결과

연구 질문

• RQ1 깊은 SNN의 직접 학습이 neuromorphic 및 비-발화 데이터셋에서 ANN 기반 벤치마크와 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 NeuNorm가 깊은 SNN의 신경 선택성과 학습 수렴에 개선을 가져오는가?
• RQ3 명시적으로 반복적인 LIF 모델과 PyTorch 기반 구현을 사용하여 얼마나 빠른 속도향상과 확장성을 달성할 수 있는가?
• RQ4 최적화된 레이트 코딩이 N-MNIST, DVS-CIFAR10, CIFAR10와 같은 데이터셋에서 학습 효율과 정확도에 어떤 영향을 미치는가?

주요 결과

• 깊은 SNN의 직접 학습(최대 8개 계층)은 기존의 SNN 연구와 비교할 때 neuromorphic 데이터셋에서 우수한 정확도를 달성한다.
• NeuNorm은 특징 맵 간 활동 균형을 맞춰 학습 수렴과 분류 성능을 향상시킨다.
• PyTorch로 구현된 명시적으로 반복적인 LIF 모델은 Matlab 기반 구현 대비 수십 배의 속도 향상을 제공한다.
• 이 접근은 N-MNIST에서의 최고 보고 정확도(NeuNorm 포함: 99.53%) 및 DVS-CIFAR10에서의 최고(60.5%)를 달성하고 CIFAR10에서도 경쟁력 있는 결과(NeuNorm 포함 90.53%)를 보여준다.
• 인코딩/디코딩 방식은 필요한 시뮬레이션 길이를 (4–8 단계)로 줄이면서도 성능을 유지한다.
• 네트워크 확장은 더 큰 아키텍처에서 정확도가 향상되는 경향을 보이며, 이는 ANN 문헌의 발견과 유사하다.