[논문 리뷰] Spikeformer: A Novel Architecture for Training High-Performance Low-Latency Spiking Neural Network

Yudong Li, Yunlin Lei외 1명|arXiv (Cornell University)|2022. 11. 19.

Advanced Memory and Neural Computing인용 수 11

한 줄 요약

이 논문은 최소한의 시뮬레이션 시간 단계로 신경모방적(DVS-Gesture, DVS-CIFAR10) 및 정적(ImageNet) 데이터셋에서 최고 성능을 기록하는 새로운 트랜스포머 기반 스파iking 신경망 아키텍처인 Spikeformer을 제안한다. 데이터 결핍과 학습 불안정성 문제를 해결하기 위해 컨volutional 토크나이저(CT) 모듈을 도입하고, 공간적 및 시간적 종속성을 동시에 모델링하기 위해 시공간 주의 메커니즘(Spiking Transformer Attention, STA)을 적용함으로써, Spikeformer는 ImageNet에서 ANN 대비 2.2% 향상되고 DVS-Gesture에서 3.1% 향상되어 저지연, 고성능 SNN 학습의 우수성을 입증한다.

ABSTRACT

Spiking neural networks (SNNs) have made great progress on both performance and efficiency over the last few years,but their unique working pattern makes it hard to train a high-performance low-latency SNN.Thus the development of SNNs still lags behind traditional artificial neural networks (ANNs).To compensate this gap,many extraordinary works have been proposed.Nevertheless,these works are mainly based on the same kind of network structure (i.e.CNN) and their performance is worse than their ANN counterparts,which limits the applications of SNNs.To this end,we propose a novel Transformer-based SNN,termed "Spikeformer",which outperforms its ANN counterpart on both static dataset and neuromorphic dataset and may be an alternative architecture to CNN for training high-performance SNNs.First,to deal with the problem of "data hungry" and the unstable training period exhibited in the vanilla model,we design the Convolutional Tokenizer (CT) module,which improves the accuracy of the original model on DVS-Gesture by more than 16%.Besides,in order to better incorporate the attention mechanism inside Transformer and the spatio-temporal information inherent to SNN,we adopt spatio-temporal attention (STA) instead of spatial-wise or temporal-wise attention.With our proposed method,we achieve competitive or state-of-the-art (SOTA) SNN performance on DVS-CIFAR10,DVS-Gesture,and ImageNet datasets with the least simulation time steps (i.e.low latency).Remarkably,our Spikeformer outperforms other SNNs on ImageNet by a large margin (i.e.more than 5%) and even outperforms its ANN counterpart by 3.1% and 2.2% on DVS-Gesture and ImageNet respectively,indicating that Spikeformer is a promising architecture for training large-scale SNNs and may be more suitable for SNNs compared to CNN.We believe that this work shall keep the development of SNNs in step with ANNs as much as possible.Code will be available.

연구 동기 및 목표

• 기존 스파이킹 신경망(SNN)의 성능 및 지연 한계를 보완하기 위해, 서로그레이드 또는 변환 기반 학습 방법을 사용하는 SNN의 성능 및 지연 문제를 해결하는 것.
• SNN에 적용된 비전 트랜스포머(ViT)의 데이터 기반 및 불안정한 학습 문제를 해결하는 것.
• CNN 기반 SNN을 초월하고 ImageNet과 같은 대규모 데이터셋에서 ANN 성능에 맞추거나 능가하는 새로운 SNN 아키텍처를 설계하는 것.
• 최소한의 시뮬레이션 시간 단계로 직접 SNN을 학습시켜 고정확도와 저에너지 소비를 유지하는 것.

제안 방법

• ViT의 표준 패치파이 스템을 대체하기 위해 컨volutional 토크나이저(CT) 모듈을 도입하여 SNN의 데이터 효율성과 학습 안정성을 향상시키는 것.
• 스파이킹 시퀀스의 공간적 및 시간적 종속성을 동시에 모델링하는 시공간 주의(Spiking Transformer Attention, STA) 메커니즘을 설계하여, 이전 방법들이 공간 또는 시간 주의만 사용한 것과는 다름.
• 저지연을 위해 서로서그레이드 역전파를 적용하여 SNN을 종단 간(end-to-end)으로 학습시키며, ANN에서 SNN로의 변환 필요성을 제거하는 것.
• 아키텍처 설계를 위해 '200 토큰' 규칙을 도입하여 안정적인 학습을 위한 충분한 시퀀스 길이를 확보하면서도 효율성을 유지하는 것.
• 교란 분석을 통해 네트워크 깊이와 시간 단계를 최적화하여 다양한 구성에서도 강건성을 입증하는 것.
• 초기 설계에서 트랜스포머 블록과 CT 모듈의 영향을 우선시하기 위해 경량의 비잔성 아키텍처를 채택하는 것.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 SNN 아키텍처가 저지연 조건에서 신경모방적 및 정적 이미지 데이터셋에서 경쟁력 있거나 최고 성능을 낼 수 있는가?
• RQ2 SNN에 적용된 비전 트랜스포머의 데이터 기반 및 불안정한 학습 문제를 어떻게 완화할 수 있는가?
• RQ3 SNN에서 시공간 주의 메커니즘이 공간 또는 시간 주의만 사용하는 것보다 더 나은 표현 학습을 이끌 수 있는가?
• RQ4 직접 학습된 SNN이 ImageNet과 같은 대규모 벤치마크에서 ANN 대비 뛰어난 성능을 낼 수 있는가?
• RQ5 안정적이고 고성능의 SNN 학습을 위해 필수적인 아키텍처 설계 원칙(예: 토크나이저, 시퀀스 길이)은 무엇인가?

주요 결과

• Spikeformer는 단 4개의 시간 단계로 DVS-Gesture에서 98.96%의 상위-1 정확도를 달성하여, 동일한 지연 조건에서 이전 최고 성능(SOTA) 방법보다 1.04% 높은 성능을 기록했다.
• DVS-CIFAR10에서 Spikeformer는 4개의 시간 단계로 85.21%의 정확도를 기록했으며, 더 적은 시간 단계와 파rameter를 사용함에도 불구하고 이전 SOTA를 16.6% 초월했다.
• ImageNet에서 Spikeformer는 4개의 시간 단계와 38.75M 파arameter로 상위-1 정확도 78.31%를 달성하여, 서로서그레이드 또는 변환 기반으로 학습된 SOTA SNN보다 5% 이상 뛰어났다.
• Spikeformer는 ImageNet에서 ANN 대비 2.2% 향상되었고, DVS-Gesture에서 3.1% 향상되어, 이는 이 벤치마크에서 직접 학습된 SNN이 ANN에 비해 최초로 승리한 사례이다.
• 컨볼루션 토크나이저(CT) 모듈은 기존의 순수 ViT 기반 SNN 대비 DVS-Gesture에서 정확도를 16% 이상 향상시켜 학습 안정성을 높이고 수렴 가능성을 확보했다.
• 교란 분석 결과 CT 모듈의 핵심적 역할과 다양한 깊이 및 시간 단계 설정에서도 강건한 성능을 보임을 확인했다.