[논문 리뷰] Going Deeper With Directly-Trained Larger Spiking Neural Networks

Hanle Zheng, Yujie Wu외 3명|arXiv (Cornell University)|2020. 10. 29.

Advanced Memory and Neural Computing인용 수 11

한 줄 요약

이 논문은 매우 깊은 스파iking 신경망(SNNs)을 직접 훈련할 수 있도록 해주는 임계값 의존성 배치 정규화(STBP-tdBN) 방법을 제안한다. 이 방법은 기울기 흐름을 안정화시키고 뉴런의 화성 빈도를 균형 있게 유지함으로써, 최소한의 타임스텝으로 CIFAR-10(93.15%), DVS-CIFAR10(67.8%), ImageNet(67.05%)에서 최신 기술 수준의 정확도를 달성하며, ImageNet에서 깊은 SNN의 직접 훈련에 성공한 최초의 사례이다.

ABSTRACT

Spiking neural networks (SNNs) are promising in a bio-plausible coding for spatio-temporal information and event-driven signal processing, which is very suited for energy-efficient implementation in neuromorphic hardware. However, the unique working mode of SNNs makes them more difficult to train than traditional networks. Currently, there are two main routes to explore the training of deep SNNs with high performance. The first is to convert a pre-trained ANN model to its SNN version, which usually requires a long coding window for convergence and cannot exploit the spatio-temporal features during training for solving temporal tasks. The other is to directly train SNNs in the spatio-temporal domain. But due to the binary spike activity of the firing function and the problem of gradient vanishing or explosion, current methods are restricted to shallow architectures and thereby difficult in harnessing large-scale datasets (e.g. ImageNet). To this end, we propose a threshold-dependent batch normalization (tdBN) method based on the emerging spatio-temporal backpropagation, termed "STBP-tdBN", enabling direct training of a very deep SNN and the efficient implementation of its inference on neuromorphic hardware. With the proposed method and elaborated shortcut connection, we significantly extend directly-trained SNNs from a shallow structure ( < 10 layer) to a very deep structure (50 layers). Furthermore, we theoretically analyze the effectiveness of our method based on "Block Dynamical Isometry" theory. Finally, we report superior accuracy results including 93.15 % on CIFAR-10, 67.8 % on DVS-CIFAR10, and 67.05% on ImageNet with very few timesteps. To our best knowledge, it's the first time to explore the directly-trained deep SNNs with high performance on ImageNet.

연구 동기 및 목표

• 직접 훈련되는 깊은 SNN에서 기울기 흐름의 불안정성과 기울기 소실/과잉 문제를 해결하기 위해.
• 훈련 중에 최적의 화성 빈도를 유지하기 위해 입력 자극과 뉴런의 임계값을 균형 있게 조절하기 위해.
• 10층을 초월하는 깊이의 직접 훈련 가능한 SNN을 확장하여, ImageNet과 같은 대규모 데이터셋에서의 성능을 가능하게 하기 위해.
• 시간 지연을 최소화하여 뉴로모픽 하드웨어에서 효율적인 추론을 가능하게 하기 위해.
• 사전 훈련된 ANN에서 변환하지 않고도 종단간 훈련이 가능한 깊은 SNN의 실현 가능성을 입증하기 위해.

제안 방법

• 뉴런의 임계값에 따라 정규화 통계를 조정하는 임계값 의존성 배치 정규화(tdBN)를 제안하여 훈련의 안정성을 높인다.
• 스пат리오토르피컬 백프로파게이션(STBP)과 tdBN을 통합하여 SNN에서 시간과 공간을 아우르는 기울기 흐름을 가능하게 한다.
• 깊은 아키텍처에서 기울기 흐름을 유지하기 위해 SNN에 특화된 수정된 잔차 연결을 설계한다.
• 표준 ResNet 아키텍처(ResNet-18, 34, 50)에 이 방법을 적용하여 종단간 직접 훈련을 가능하게 한다.
• 블록 동적 등장성 분석을 통해 기울기 전파의 안정성을 이론적으로 정당화한다.
• 추론을 위해 최소한의 타임스텝(≤6)을 사용하여 SNN의 이벤트 기반 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 임계값 의존성 배치 정규화는 매우 깊은 SNN에서 STBP를 통해 훈련할 때 기울기 흐름을 안정화시킬 수 있는가?
• RQ2 ANN에서 SNN로의 변환 없이 직접 훈련된 SNN이 ImageNet과 같은 대규모 데이터셋에서 높은 성능을 달성할 수 있는가?
• RQ3 제안된 정규화 방법은 입력과 임계값을 어떻게 균형 있게 조절하여 효과적인 화성 빈도를 유지하는가?
• RQ4 STBP-tdBN를 사용할 때 직접 훈련된 SNN이 도달할 수 있는 최대 깊이는 얼마인가?
• RQ5 이 방법은 DVS-Gesture 및 DVS-CIFAR10과 같은 뉴로모픽 데이터셋에서 기존 SNN을 초월할 수 있는가?

주요 결과

• 제안된 STBP-tdBN 방법은 SNN의 직접 훈련을 50층까지 가능하게 하여 이전 연구에서 10층 이하로 제한된 것과 비교해 크게 발전시켰다.
• CIFAR-10에서 이 방법은 단 6개의 타임스텝으로 93.15%의 상위-1 정확도를 달성하며, 이전의 직접 훈련된 SNN을 능가한다.
• ImageNet에서, 채널 너비를 크게 한 ResNet-34는 단 6개의 타임스텝으로 67.05%의 상위-1 정확도를 달성하며, ImageNet에서 깊은 SNN의 직접 훈련에 성공한 최초의 사례이다.
• DVS-Gesture에서 모델은 96.87%의 정확도를 달성하여, 이 뉴로모픽 데이터셋에서 직접 훈련된 SNN의 최신 기술 수준을 새롭게 설정한다.
• DVS-CIFAR10에서 모델은 10개의 타임스텝으로 67.8%의 정확도를 달성하며, 이는 이전 최신 기술 수준 결과를 초월한다.
• 블록 동적 등장성 기반 이론적 분석을 통해 tdBN이 깊은 SNN에서 기울기 전파를 안정화시킴을 확인하였다.