[논문 리뷰] Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation

Nitin Rathi, Gopalakrishnan Srinivasan외 2명|arXiv (Cornell University)|2020. 05. 04.

Advanced Memory and Neural Computing참고 문헌 22인용 수 164

한 줄 요약

이 논문은 ANN에서 변환된 SNN을 초기화한 후 STDB로 미세 조정하여 더 적은 시간 단계와 더 낮은 학습 비용으로 비슷한 정확도를 달성하는 하이브리드 학습 접근법을 제시한다.

ABSTRACT

Spiking Neural Networks (SNNs) operate with asynchronous discrete events (or spikes) which can potentially lead to higher energy-efficiency in neuromorphic hardware implementations. Many works have shown that an SNN for inference can be formed by copying the weights from a trained Artificial Neural Network (ANN) and setting the firing threshold for each layer as the maximum input received in that layer. These type of converted SNNs require a large number of time steps to achieve competitive accuracy which diminishes the energy savings. The number of time steps can be reduced by training SNNs with spike-based backpropagation from scratch, but that is computationally expensive and slow. To address these challenges, we present a computationally-efficient training technique for deep SNNs. We propose a hybrid training methodology: 1) take a converted SNN and use its weights and thresholds as an initialization step for spike-based backpropagation, and 2) perform incremental spike-timing dependent backpropagation (STDB) on this carefully initialized network to obtain an SNN that converges within few epochs and requires fewer time steps for input processing. STDB is performed with a novel surrogate gradient function defined using neuron's spike time. The proposed training methodology converges in less than 20 epochs of spike-based backpropagation for most standard image classification datasets, thereby greatly reducing the training complexity compared to training SNNs from scratch. We perform experiments on CIFAR-10, CIFAR-100, and ImageNet datasets for both VGG and ResNet architectures. We achieve top-1 accuracy of 65.19% for ImageNet dataset on SNN with 250 time steps, which is 10X faster compared to converted SNNs with similar accuracy.

연구 동기 및 목표

• ANN-SNN 변환의 높은 대기 시간과 SNN을 처음부터 학습하는 높은 비용을 동기 부여하고 해결한다.
• STDB 기반 미세 조정을 위한 초기화로 변환된 SNN을 사용하는 하이브리드 학습 파이프라인을 제안한다.
• 효율적인 스파이크 기반 학습을 가능하게 하는 스파이크 타이밍을 기반으로 한 새로운 대리 기울기를 개발한다.
• CIFAR와 ImageNet에서 VGG, ResNet와 같은 심층 구조에 대해 시간 단계 감소를 통해 확장성을 보여준다.

제안 방법

• ANN-SNN으로 변환된 네트워크를 SNN의 초기화로 사용한다.
• 뉴런 스파이크 타임을 기반으로 한 대리 기울기를 사용하는 STDB로 초기화된 SNN을 학습한다.
• 스파이크 활성화의 도함수를 마지막 스파이크 이후 시간 Δt에 따라 감소하는 대리 기울기를 정의한다.
• PyTorch 구현에 적합한 이산 시퀀스 업데이트를 갖는 소프트 리셋 LIF 뉴런 모델을 활용한다.
• 변환 중 임계값 균형을 적용하고 STDB 학습 중에는 계층당 공유 임계값을 유지한다.
• CIFAR-10, CIFAR-100 및 ImageNet에서 VGG 및 ResNet 유사 구조를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 ANN에서 초기화된 변환된 SNN이 스파이크 기반 역전파로 엔드투엔드 학습할 때 학습 시간과 대기 시간을 줄일 수 있는가?
• RQ2 스파이크 시각 대리 기울기가 있는 STDB가 깊은 SNN이 더 적은 시간 단계로도 경쟁력 있는 정확도에 도달하게 하는가?
• RQ3 하이브리드 접근법은 표준 데이터셋에서 순수한 ANN-SNN 변환과 순수 스파이크 기반 학습과 어떻게 비교되는가?
• RQ4 STDB로 학습된 SNN의 성능에서 임계값 처리와 아키텍처 선택(VGG, 잔차 네트워크)의 영향은 어떠한가?

주요 결과

• 하이브리드 학습은 순수하게 변환된 SNN보다도 유의하게 더 적은 시간 단계(약 10배~25배)로도 정확도를 유지한다.
• 일반 이미지 데이터셋에서 20에피소드 이하로 수렴한다.
• 250 시간 단계에서 ImageNet의 VGG16은 65.19% top-1 정확도에 도달하여 널리 사용되는 ANN 성능에 근접한 낮은 대기 시간을 달성한다.
• 하이브리드 STDB 학습은 동일 조건에서 순수 변환된 SNN에 비해 시그널 활동을 약 1.5배 감소시켜 에너지 효율성을 향상시킨다.
• CIFAR-10/100 및 ImageNet 전반에서 VGG/ResNet 변형은 ANNs 및 변환된 SNN에 비해 거의 ISO 정확도를 보이며 상당히 축소된 시간 단계로 나타난다.
• CIFAR-10의 경우, VGG16 기반 하이브리드 모델은 T=100에서 91.13%를, T=200에서 92.02%를 달성한다.