[논문 리뷰] A Tandem Learning Rule for Effective Training and Rapid Inference of Deep Spiking Neural Networks

Jibin Wu, Yansong Chua외 4명|arXiv (Cornell University)|2019. 07. 02.

Advanced Memory and Neural Computing참고 문헌 75인용 수 16

한 줄 요약

이 논문은 스파iking 신경망(SNN)과 미분 가능한 인공신경망(ANN)을 결합하여 SNN의 효과적인 역전파 학습을 가능하게 하는 타 tandem 학습 규칙을 제안한다. 가중치를 공유하고 ANN을 사용해 SNN 스파이크 수를 근사하여 기울기 계산을 수행함으로써, 최신 기술 대비 최소 10배 빠른 추론 시간과 시냅스 연산 수를 확보하면서도 경쟁 가능한 분류 정확도를 달성한다.

ABSTRACT

Spiking neural networks (SNNs) represent the most prominent biologically inspired computing model for neuromorphic computing (NC) architectures. However, due to the non-differentiable nature of spiking neuronal functions, the standard error back-propagation algorithm is not directly applicable to SNNs. In this work, we propose a tandem learning framework, that consists of an SNN and an Artificial Neural Network (ANN) coupled through weight sharing. The ANN is an auxiliary structure that facilitates the error back-propagation for the training of the SNN at the spike-train level. To this end, we consider the spike count as the discrete neural representation in the SNN, and design ANN neuronal activation function that can effectively approximate the spike count of the coupled SNN. The proposed tandem learning rule demonstrates competitive pattern recognition and regression capabilities on both the conventional frame-based and event-based vision datasets, with at least an order of magnitude reduced inference time and total synaptic operations over other state-of-the-art SNN implementations. Therefore, the proposed tandem learning rule offers a novel solution to training efficient, low latency, and high accuracy deep SNNs with low computing resources.

연구 동기 및 목표

• 스파iking 뉴런의 비미분 가능성으로 인해 깊은 SNN을 학습하는 데 도전하는 문제를 해결하기 위해.
• 기울기 계산을 위한 서rogate로 미분 가능한 ANN을 활용하여 SNN의 효과적인 역전파 학습을 가능하게 하기 위해.
• 에너지 제약이 있는 뉴로모픽 하드웨어에 적합한 저지연·고정밀 추론을 실현하기 위해.
• 희소 스파이크 활성화와 효율적인 가중치 공유를 활용하여 시냅스 연산 수와 추론 시간을 줄이기 위해.

제안 방법

• SNN과 ANN이 동일한 가중치를 공유하는 타 tandem 네트워크 아키텍처를 설계하여, 미분 가능한 ANN 경로를 통해 기울기가 흐르도록 한다.
• SNN에서 이산적 신경 표현으로 스파이크 수를 사용하고, ANN의 활성화 함수는 이를 근사하도록 특별히 설계된다.
• 오차 역전파를 ANN에서 수행함으로써, 비미분 가능한 스파이킹 함수에 직접 기울기를 계산하지 않고도 SNN의 효율적이고 메모리 효율적인 학습이 가능해진다.
• 학습 안정화와 깊은 SNN에서의 효과적인 정보 흐름 확보를 위해 배치 정규화를 사용한다.
• 시간 창 크기를 최적화하여 정보를 효율적으로 표현하고, 최소한의 시간 단계로 빠른 추론을 가능하게 한다.
• 일반화 능력을 입증하기 위해 프레임 기반(CIFAR-10 등) 및 이벤트 기반(DVS128 Gesture 등) 데이터셋에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 미분 가능한 ANN 서rogate가 결합된 SNN의 스파이크 수를 효과적으로 근사하여 역전파 학습을 가능하게 할 수 있는가?
• RQ2 타 tandem 학습 규칙은 표준 비전 벤치마크에서 경쟁 가능한 분류 정확도를 달성하면서도 빠른 추론을 가능하게 하는가?
• RQ3 기존 SNN 학습 방법 대비 타 tandem 방법이 시냅스 연산 수와 추론 시간을 얼마나 줄일 수 있는가?
• RQ4 학습 중에 SNN 스파이크 수와 ANN 활성화 간의 관계가 얼마나 잘 유지되는가?
• RQ5 타 tandem 규칙은 시간적 순서 학습을 지원할 수 있는가, 아니면 강도 기반 분류에 국한되는가?

주요 결과

• 타 tandem 규칙로 학습된 SNN은 CIFAR-10 및 DVS128 Gesture 데이터셋에서 최신 기술 수준의 SNN와 비교해 경쟁 가능한 분류 정확도를 확보한다.
• 기타 SNN 구현 대비 추론 시간이 최소 10배 빨라졌으며, 최적 정확도에 도달하기 위해 필요한 시간 단계 수가 크게 감소했다.
• 희소 활성화와 짧은 인코딩 창 덕분에 기준 ANN 및 기타 SNN 방법 대비 총 시냅스 연산 수가 최소 10배 감소했다.
• 학습 전반에 걸쳐 ANN 활성화와 SNN 스파이크 수 간의余弦 거리는 작게 유지되어 고차원 표현에서 강한 일치를 보였다.
• ANN의 가중치-활성화 내적의 곱과 SNN 간에 강한 양의 피어슨 상관관계가 관찰되어 선형 관계가 잘 유지됨을 확인했다.
• 에너지 효율성 측면에서 뛰어난 성능을 보였으며, SynOps 비율이 1 이하일 경우 SNN이 ANN보다 더 효율적이며, VGGNet-9 기준으로 기존 SNN 대비 최소 10배 높은 효율성을 달성했다.