[논문 리뷰] SLAYER: Spike Layer Error Reassignment in Time

Sumit Bam Shrestha, Garrick Orchard|arXiv (Cornell University)|2018. 09. 05.

Seismic Imaging and Inversion Techniques인용 수 473

한 줄 요약

SLAYER는 스파이크 신경망에서 시냅스 가중치와 축 신경 지연을 학습하기 위한 일반적인 역전파 기제를 도입하고, 시간적 크레딧 할당을 사용하여 오차를 역전파하며, 기존 SNN 방법 및 ANN-대-SNN 변환과 비교하여 여러 데이터셋에서 최첨단 성능을 달성하는 GPU-가속 구현을 제공합니다.

ABSTRACT

Configuring deep Spiking Neural Networks (SNNs) is an exciting research avenue for low power spike event based computation. However, the spike generation function is non-differentiable and therefore not directly compatible with the standard error backpropagation algorithm. In this paper, we introduce a new general backpropagation mechanism for learning synaptic weights and axonal delays which overcomes the problem of non-differentiability of the spike function and uses a temporal credit assignment policy for backpropagating error to preceding layers. We describe and release a GPU accelerated software implementation of our method which allows training both fully connected and convolutional neural network (CNN) architectures. Using our software, we compare our method against existing SNN based learning approaches and standard ANN to SNN conversion techniques and show that our method achieves state of the art performance for an SNN on the MNIST, NMNIST, DVS Gesture, and TIDIGITS datasets.

연구 동기 및 목표

• 스파이크 생성의 비미분 가능성을 해결하여 SNN의 그래디언트 기반 학습을 가능하게 한다.
• unified 역전파 프레임워크 내에서 시냅스 가중치와 축 신경 지연을 모두 학습한다.
• 레이어 간 시간에 걸쳐 오차를 전파하기 위한 시간적 크레딧 할당 정책을 구현한다.
• 완전 연결 및 CNN 아키텍처의 학습을 위한 GPU-가속 소프트웨어 구현을 제공한다.
• 다양한 데이터셋에서 기존 SNN 학습 방법 및 ANN-대-SNN 변환 approaches와 SLAYER를 비교한다.

제안 방법

• SNN의 비미분 가능한 스파이크 함수를 수용하는 역전파 메커니ism를 제안한다.
• 시냅스 가중치와 축 신경 지연을 공동으로 학습하여 스파이크 기반 표현을 최적화한다.
• 시간의 흐름에 따라 앞선 계층으로 오차 신호를 전파하기 위한 시간적 크레딧 할당 정책을 적용한다.
• 완전 연결 및 합성곱 네트워크를 학습할 수 있는 GPU-가속 소프트웨어를 개발한다.
• 기존 SNN 학습 방법 및 ANN-대-SNN 변환 기법과의 실증적 비교를 수행한다.

실험 결과

연구 질문

• RQ1 스파이크 함수의 비미분 가능성에도 불구하고 가중치와 지연을 학습함으로써 SNN에 역전파를 효과적으로 적용할 수 있는가?
• RQ2 SLAYER는 정확도와 학습 효율성 측면에서 기존 SNN 학습 방법 및 ANN-대-SNN 변환 방법과 어떻게 비교되는가?
• RQ3 축 신경 지연 학습이 표준 SNN 벤치마크에서 성능에 미치는 영향은 무엇인가?
• RQ4 GPU-가속 구현이 MNIST, NMNIST, DVS Gesture, 및 TIDIGITS와 같은 합성곱 아키텍처 및 데이터세트로 확장 가능한가?

주요 결과

• SLAYER는 연구 맥락에서 MNIST, NMNIST, DVS Gesture, 그리고 TIDIGITS에 대해 SNN의 최첨단 성능을 달성한다.
• 가중치 및 지연 업데이트를 시간적 크레딧 할당 전략과 통합함으로써 효과적인 학습을 가능하게 한다.
• 저자는 GPU-가속 구현을 제공하고 이를 완전 연결 및 CNN 아키텍처 모두에 적용 가능함을 입증한다.
• 비교 결과는 기존 SNN 학습 방법 및 ANN-대-SNN 변환 기술에 대해 우수한 성능을 보여준다.