[논문 리뷰] Enabling Spike-based Backpropagation in State-of-the-art Deep Neural Network Architectures

Chankyu Lee, Syed Shakib Sarwar외 1명|arXiv (Cornell University)|2019. 03. 15.

Advanced Memory and Neural Computing참고 문헌 32인용 수 41

한 줄 요약

이 논문은 깊이 있는 SNN에서 종료형 스파iking 백프로파게이션을 가능하게 하기 위해 Leaky Integrate-and-Fire (LIF) 뉴런의 미분 가능한 근사치를 제안하며, VGG 및 잔차 구조를 사용하여 MNIST, SVHN, CIFAR-10에서 최신 기술 수준의 정확도를 달성하면서도 시간 동역학을 유지하고 희소한 이벤트 기반 추론을 가능하게 한다.

ABSTRACT

Spiking Neural Networks (SNNs) has recently emerged as a prominent neural computing paradigm. However, the typical shallow spiking network architectures have limited capacity for expressing complex representations, while training a very deep spiking network have not been successful so far. Diverse methods have been proposed to get around this issue such as converting off-line trained deep Artificial Neural Networks (ANNs) to SNNs. However, ANN-to-SNN conversion scheme fails to capture the temporal dynamics of a spiking system. On the other hand, it is still a difficult problem to directly train deep SNNs using input spike events due to the discontinuous and non-differentiable nature of the spike signals. To overcome this problem, we propose using differentiable (but approximate) activation for Leaky Integrate-and-Fire (LIF) spiking neurons to train deep convolutional SNNs with input spike events using spike-based backpropagation algorithm. Our experiments show the effectiveness of the proposed spike-based learning strategy on state-of-the-art deep networks (VGG and Residual architectures) by achieving the best classification accuracies in MNIST, SVHN and CIFAR-10 datasets compared to other SNNs trained with spike-based learning. Moreover, we analyze sparse event-driven computations to demonstrate the efficacy of proposed SNN training method for inference operation in the spiking domain.

연구 동기 및 목표

• 스파이크 신호의 비미분 가능성으로 인해 입력 스파이크 이벤트로 인한 깊이 있는 스파iking 신경망(SNN) 학습의 과제를 극복하기 위해.
• ANN에서 SNN로의 변환 방법에서 잃어버리는 시간 동역학을 유지하면서 스파이크 기반 백프로파게이션을 직접 사용하여 깊이 있는 SNN을 학습할 수 있도록 하기 위해.
• 스파이크 이벤트를 통한 기울기 전파를 가능하게 하는 LIF 뉴런의 미분 가능한 근사치를 개발하기 위해.
• 제안된 방법을 상태의 최신 기술 수준의 깊이 있는 네트워크 구조(VGG 및 잔차 구조)를 사용하여 이미지 분류 작업에 대해 평가하기 위해.
• 학습된 SNN에서 희소한 이벤트 기반 추론의 효율성을 입증하기 위해.

제안 방법

• 스파이크 뉴런의 작동 방식에 대한 미분 가능한 근사치를 도입하여 스파이크 이벤트를 통한 기울기 계산을 가능하게 한다.
• 입력 스파이크 트레인을 사용하여 깊이 있는 SNN을 종료형으로 학습하기 위해 스파이크 기반 백프로파게이션 알고리즘을 적용한다.
• 제안된 미분 가능한 LIF 뉴런을 VGG 및 잔차 네트워크 아키텍처 기반의 깊이 있는 합성곱 SNN에 적용한다.
• 스파이크 이벤트의 본질적 희소성을 활용하여 희소한 계산을 기반으로 한 이벤트 기반 추론을 활용한다.
• 사전 학습된 ANNs나 변환 파이프라인에 의존하지 않고 스파이크 인코딩 데이터를 직접 사용하여 SNN을 학습한다.
• 스파이크 비선형성의 미분 가능한 근사치를 통해 계산된 기울기를 사용하여 표준 백프로파게이션으로 네트워크를 최적화한다.

실험 결과

연구 질문

• RQ1 입력 스파이크 이벤트에 대한 종료형 학습을 통해 깊이 있는 SNN이 스파이크 기반 백프로파게이션을 효과적으로 학습할 수 있는가?
• RQ2 제안된 미분 가능한 LIF 근사치는 기존의 SNN 학습 방법에 비해 분류 정확도 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법은 MNIST, SVHN, CIFAR-10와 같은 표준 이미지 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 스파이크 이벤트의 희소성이 학습된 SNN에서 효율적인 추론을 얼마나 높일 수 있는가?
• RQ5 이 방법은 ANN에서 SNN로의 변환 접근 방식보다 스파이킹 시스템의 시간 동역학을 더 잘 유지하는가?

주요 결과

• 제안된 방법은 MNIST, SVHN, CIFAR-10 데이터셋에서 스파이크 기반 학습을 통해 학습된 SNN 중 최고의 분류 정확도를 달성한다.
• 미분 가능한 LIF 근사치는 깊이 있는 SNN에서 스파이크 이벤트를 통한 안정적이고 효과적인 백프로파게이션을 가능하게 한다.
• 이 방법은 입력 스파이크 이벤트를 사용하여 VGG 및 잔차 아키텍처 기반의 깊이 있는 SNN을 성공적으로 학습시킨다.
• 학습된 SNN은 희소한 이벤트 기반 추론을 지원하며 스파이킹 도메인에서의 계산 효율성을 보여준다.
• 기준 이미지 분류 작업에서 기존의 스파이크 기반 학습 방법보다 이 방법이 뛰어난 성능을 보인다.
• 결과는 직접적인 스파이크 기반 학습과 함께 미분 가능한 뉴런을 사용할 경우 높은 정확도를 달성하면서도 시간 동역학을 유지할 수 있음을 확인한다.