[논문 리뷰] Temporal Spike Sequence Learning via Backpropagation for Deep Spiking Neural Networks

Wenrui Zhang, Peng Li|arXiv (Cornell University)|2020. 02. 24.

Advanced Memory and Neural Computing참고 문헌 24인용 수 119

한 줄 요약

이 논문은 깊은 스파이킹 신경망을 학습시켜 임의의 목표 시간 스파이크 시퀀스를 초저지연(5–10 타임스텝)으로 학습하고 MNIST, N-MNIST, FashionMNIST, CIFAR10에서 정확도를 개선하는 백프로파게이션 기반 방법인 TSSL-BP를 소개한다.

ABSTRACT

Spiking neural networks (SNNs) are well suited for spatio-temporal learning and implementations on energy-efficient event-driven neuromorphic processors. However, existing SNN error backpropagation (BP) methods lack proper handling of spiking discontinuities and suffer from low performance compared with the BP methods for traditional artificial neural networks. In addition, a large number of time steps are typically required to achieve decent performance, leading to high latency and rendering spike-based computation unscalable to deep architectures. We present a novel Temporal Spike Sequence Learning Backpropagation (TSSL-BP) method for training deep SNNs, which breaks down error backpropagation across two types of inter-neuron and intra-neuron dependencies and leads to improved temporal learning precision. It captures inter-neuron dependencies through presynaptic firing times by considering the all-or-none characteristics of firing activities and captures intra-neuron dependencies by handling the internal evolution of each neuronal state in time. TSSL-BP efficiently trains deep SNNs within a much shortened temporal window of a few steps while improving the accuracy for various image classification datasets including CIFAR10.

연구 동기 및 목표

• SNN에서 목표 시간 스파이크 시퀀스를 정확하게 학습하는 백프로파게이션 방법을 시연한다.
• 시그널의 미분 불가능성을 스무딩 없이 다뤄 시간적 정밀도를 보존한다.
• 지연 및 에너지를 줄이기 위해 짧은 시간 창(5–10 타임스텝)으로 학습 및 추론을 가능하게 한다.
• 여러 이미지 데이터셋에서 기존 SNN BP 방법들보다 향상된 정확도를 보인다.

제안 방법

• 오류 역전파를 서로 이웃 뉴런 간 의존성과 뉴런 내부 의존성으로 분해하여 시간적 동역학을 포착한다.
• 시냅스 전 발화 시간(presynaptic firing times)을 사용하여 서로 이웃 간 의존성을 모델링하고 단일-발화(spike) 동작을 반영한다.
• 시간과 스파이크 타이밍에 따른 신경 상태의 변화를 분석하여 뉴런 내부 의존성을 모델링한다.
• 원하는 스파이크 시퀀스와 실제 시퀀스 사이의 Van Rossum 거리 기반의 손실을 정의하고 두 채널 의존성 접근법으로 시간에 따라 역전파한다.
• presynaptic firing times에 대한 PSC의 미분을 유도하고 스파이크 활성화 스무딩을 피한다.
• CNN 및 완전연결형 SNN 아키텍처에서의 학습을 시연하고 MNIST, NMNIST, FashionMNIST, CIFAR10에서 평가한다.

실험 결과

연구 질문

• RQ1 TSSL-BP가 깊은 SNN을 학습시켜 임의의 시간적 스파이크 시퀀스를 고정밀도로 학습할 수 있는가?
• RQ2 스무딩 없이 스파이킹 불연속성을 다루기 위해 서로-뉴런 간 및 뉴런 내부의 시간 의존성을 어떻게 공식화할 수 있는가?
• RQ3 SNN 학습 및 추론에서 경쟁력 있는 정확도를 달성할 수 있는 지연 시간(타임스텝 수)은 어느 정도인가?
• RQ4 표준 이미지 데이터셋에서 기존 SNN BP 방법, 변환된 SNN, 및 인공신경망(ANN)과 비교하여 TSSL-BP의 성능은 어떠한가?

주요 결과

• TSSL-BP는 5–10 타임스텝의 짧은 시간 창으로 모든 데이터셋에서 높은 정확도를 달성한다.
• MNIST에서 5 타임스텝으로 최대 99.53% 정확도에 도달하여 다수의 SNN BP 방법을 능가하고 최첨단과 일치하며 일부 방법에 비해 지연을 약 80배 감소시킨다.
• N-MNIST에서 30 타임스텝으로 최대 99.40%의 최상의 정확도를 달성(일부 기준선 대비 10배 감소에 비해 3.3배 감소).
• FashionMNIST에서 5 타임스텝으로 전결합 네트워크에서 89.80%, 스파이킹 CNN에서 92.83%를 달성하여 여러 선행 방법들을 앞지른다.
• CIFAR10에서 5 타임스텝으로 89.22%(CNN1) 및 91.41%(CNN2) 정확도를 달성하여 변환된 SNN 및 STBP 계열보다 향상.
• 이 방법은 학습된 네트워크에서 희소 발화를 유도하며(예: CIFAR10에서 5 타임스텝 시 84% 이상 무발화; N-MNIST에서 100 타임스텝 시 75% 이상 무발화).