[논문 리뷰] Deep Spiking Neural Network with Spike Count based Learning Rule

Jibin Wu, Yansong Chua외 4명|arXiv (Cornell University)|2019. 02. 15.

Advanced Memory and Neural Computing참고 문헌 28인용 수 11

한 줄 요약

이 논문은 깊이 있는 스파이크 기반 신경망(SNNs)을 위한 새로운 스파이크 기반 역전파 규칙을 제안한다. 이 규칙은 스파이크 수를 타임스탬프 기반의 대체 기울기로 사용하여, 지연 시간과 스파이크 레이트와 같은 하드웨어 제약 조건을 고려한 직접 훈련을 가능하게 한다. 이는 레이트 코딩 입력에 대해 훈련할 수 있도록 하며, 10회의 시뮬레이션 타임스텝으로만 MNIST(MLP)에서 98.66%의 최고 성능을 기록하고, MNIST(CNN)에서는 99.26%의 최고 성능을 달성한다. 이는 간접적인 ANN에서 SNN로의 변환 방법을 능가하며, 효율적인 뉴로모픽 배포를 가능하게 한다.

ABSTRACT

Deep spiking neural networks (SNNs) support asynchronous event-driven computation, massive parallelism and demonstrate great potential to improve the energy efficiency of its synchronous analog counterpart. However, insufficient attention has been paid to neural encoding when designing SNN learning rules. Remarkably, the temporal credit assignment has been performed on rate-coded spiking inputs, leading to poor learning efficiency. In this paper, we introduce a novel spike-based learning rule for rate-coded deep SNNs, whereby the spike count of each neuron is used as a surrogate for gradient backpropagation. We evaluate the proposed learning rule by training deep spiking multi-layer perceptron (MLP) and spiking convolutional neural network (CNN) on the UCI machine learning and MNIST handwritten digit datasets. We show that the proposed learning rule achieves state-of-the-art accuracies on all benchmark datasets. The proposed learning rule allows introducing latency, spike rate and hardware constraints into the SNN learning, which is superior to the indirect approach in which conventional artificial neural networks are first trained and then converted to SNNs. Hence, it allows direct deployment to the neuromorphic hardware and supports efficient inference. Notably, a test accuracy of 98.40% was achieved on the MNIST dataset in our experiments with only 10 simulation time steps, when the same latency constraint is imposed during training.

연구 동기 및 목표

• 스파이크 타이밍에 의존하는 기존 스파이크 기반 학습 규칙의 비효율성을 해결하되, 레이트 코딩 입력에서는 시간 정보가 중복되므로 이를 고려하지 않음.
• 간접적인 ANN에서 SNN로의 변환 방식의 한계를 극복하며, 이는 지연 시간-정확도 트레이드오프 문제를 야기하고 후처리가 필요함.
• 직접 뉴로모픽 하드웨어에 배포 가능한, 하드웨어 제약 조건(예: 지연 시간, 스파이크 레이트)을 훈련 과정에 내재화한 훈련 방법을 개발함.
• 스파이크 타이밍이나 사전 훈련된 ANN에 의존하지 않고도, MNIST 및 UCI와 같은 레이트 코딩 데이터셋에서 깊이 있는 SNN의 효율적이고 종단 간 훈련을 가능하게 함.

제안 방법

• 스파이크 타이밍을 무시하고 입력 스파이크를 누적하는 비누화된 적분-화염(IF) 뉴런 모델을 사용하여, 레이트 코딩 입력에 적합함.
• 스파이크 생성의 비가환성 문제를 회피하기 위해, 스파이크 수를 미분 가능한 대체 기울기로 활용함.
• 스파이크 수를 출력 신호로 사용하여 표준 역전파를 시간에 따라 적용(BPTT)함으로써, 깊이 있는 SNN의 종단 간 훈련을 가능하게 함.
• 최대 시뮬레이션 시간(지연 시간)과 스파이크 레이트와 같은 하드웨어 제약 조건을 훈련 목표에 직접 통합하여, 뉴로모픽 하드웨어에 직접 배포 가능하게 함.
• 제안된 규칙을 사용하여 MNIST 및 UCI 데이터셋에서 다층 퍼셉트론(MLP)과 컨volutional 신경망(CNN) 아키텍처를 훈련함.
• 데이터 증강, 배치 정규화, 드롭아웃을 회피하고, 성능 향상에 전적으로 스파이크 수 기반 학습 규칙에 의존함.

실험 결과

연구 질문

• RQ1 스파이크 타이밍에 의존하지 않고도, 스파이크 수가 깊이 있는 SNN의 역전파에 효과적인 대체 기울기로 기능할 수 있는가, 특히 레이트 코딩 입력에 대해 훈련할 경우?
• RQ2 기본 벤치마크 데이터셋에서 간접적인 ANN에서 SNN로의 변환 방식과 비교해 볼 때, 제안된 학습 규칙은 정확도와 지연 시간 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 인퍼런스 지연 시간과 스파이크 레이트와 같은 하드웨어 제약 조건을 훈련 과정에 얼마나 잘 통합할 수 있는가, 이를 통해 직접 뉴로모픽 하드웨어에 배포 가능하게 할 수 있는가?
• RQ4 제안된 방법은 고급 정규화나 데이터 증강 기법을 사용하지 않더라도, MNIST 및 UCI 데이터셋에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 학습 규칙은 단지 10회의 시뮬레이션 타임스텝으로 784-800-800-10 MLP 아키텍처를 사용해 MNIST 데이터셋에서 테스트 정확도 98.66%를 달성함.
• 28×28-12c5-2a-64c5-2a-10 아키텍처를 가진 스파이크 기반 CNN은 데이터 증강이나 배치 정규화 없이도 MNIST에서 99.26%의 테스트 정확도를 기록함.
• 간접적인 ANN에서 SNN로의 변환 방식을 능가하며, 최고 보고된 변환 결과(99.44%)를 초월하는 정확도를 달성하면서도 직접 하드웨어에 배포 가능함.
• 단지 10회의 타임스텝으로도 MNIST에서 98.40%의 정확도를 달성하여, 엄격한 시간 제약 조건 하에서도 강력한 지연 시간 효율성과 거의 최적의 성능를 보여 줌.
• 스파이크 타이밍 기반 역전파 방법에 비해, 시간 동적 추적 기능이 없기 때문에 계산 및 메모리 요구량이 크게 감소함.
• 훈련 과정에 지연 시간과 스파이크 레이트 제약 조건을 통합함으로써, 후처리나 추가 최적화 없이도 직접 뉴로모픽 하드웨어에 배포 가능함.