[논문 리뷰] Spikingformer: A Key Foundation Model for Spiking Neural Networks

Chenlin Zhou, Liutao Yu외 6명|arXiv (Cornell University)|2023. 04. 24.

Advanced Memory and Neural Computing인용 수 35

한 줄 요약

Spikingformer는 잔류 학습에서 비스파이크 연산을 제거하여 순수 트랜스포머 기반의 스파이킹 신경망을 구축하며, 직접 학습된 SNN들 사이에서 최첨단 성능을 달성하면서 비스파이크 계산을 피하고 에너지 소비를 줄인다.

ABSTRACT

Spiking neural networks (SNNs) offer a promising energy-efficient alternative to artificial neural networks, due to their event-driven spiking computation. However, some foundation SNN backbones (including Spikformer and SEW ResNet) suffer from non-spike computations (integer-float multiplications) caused by the structure of their residual connections. These non-spike computations increase SNNs' power consumption and make them unsuitable for deployment on mainstream neuromorphic hardware. In this paper, we analyze the spike-driven behavior of the residual connection methods in SNNs. We then present Spikingformer, a novel spiking transformer backbone that merges the MS Residual connection with Self-Attention in a biologically plausible way to address the non-spike computation challenge in Spikformer while maintaining global modeling capabilities. We evaluate Spikingformer across 13 datasets spanning large static images, neuromorphic data, and natural language tasks, and demonstrate the effectiveness and universality of Spikingformer, setting a vital benchmark for spiking neural networks. In addition, with the spike-driven features and global modeling capabilities, Spikingformer is expected to become a more efficient general-purpose SNN backbone towards energy-efficient artificial intelligence. Code: https://github.com/TheBrainLab/Spikingformer

연구 동기 및 목표

• 에너지 효율적인 깊은 스파이킹 신경망을 비-스파이크 연산을 잔차 연결에서 제거함으로써 동기 부여.
• Spike-driven Residual Learning을 제안하여 순수 스파이크 주도 Transformer SNN을 가능하게 한다.
• Spikingformer 개발, 스파이크 주도 잔차와 Spiking Tokenizer를 갖춘 트랜스포머 기반 SNN.
• ImageNet, CIFAR, 및 뉴모로픽 데이터셋에서 Spikingformer를 평가하여 직접 학습된 순수 SNN들 사이에서 최첨단 결과를 확립한다.

제안 방법

• 부동소수 곱을 피하기 위해 O_l = ConvBN_l(SN_l(O_{l-1})) + O_{l-1} 및 O_{l+1} = ConvBN_{l+1}(SN_{l+1}(O_l)) 인 스파이크 주도 잔차 학습을 도입한다.
• 스파이킹 토크나이저를 채택하여 스파이크 기반 패치 임베딩과 다운샘플링을 수행해 X ∈ R^{T×N×D} 를 생성한다.
• 스파이킹 트랜스포머 블록 내에서 Spiking Self Attention(SSA) 및 Spiking MLP 블록을 사용하고, Q, K, V는 스파이크 기반 합성곱 및 SN 층을 통해 계산된다.
• 선형 BN 기반 구성은 ConvBN 기반 경로로 교체하여 연산을 스파이크 주도 상태로 유지한다.
• 스파이크 기반 연산(SOP)을 바탕으로 이론적 에너지 계산을 제공하고, MAC 및 AC 연산에 대해 45nm 하드웨어 에너지 추정치를 사용한다.

실험 결과

연구 질문

• RQ1 비스파이크 연산을 제거하기 위해 순수 스파이크 주도 잔차로 트랜스포머 기반 SNN을 만들 수 있는가?
• RQ2 ImageNet, CIFAR, 및 뉴모로픽 데이터셋에서 순수 스파이크 주도 Transformer 백본이 Spikformer 및 SEW ResNet에 비해 어떤 성능을 보이나?
• RQ3 스파이크 주도 잔차 설계가 주류 뉴모로모픽 하드웨어의 에너지 소비에 어떤 영향을 미치는가?
• RQ4 분류기 헤드 설계에서 스파이크 주도 계산을 극대화할 때의 트레이드오프는 무엇인가?

주요 결과

• Spikingformer은 8-768 구성에서 4 타임 스텝으로 ImageNet에서 75.85% Top-1 정확도를 달성하여 Spikformer보다 1.04pp 앞섰다.
• Spikingformer은 8-768 변형에서 Spikformer에 비해 에너지를 57.34% 절감했다.
• ImageNet에서 Spikingformer-8-512는 74.79% Top-1에 도달하며 Spikformer-8-512에 비해 에너지를 60.36% 줄였다.
• Spikingformer는 CIFAR10/100에서 각각 4타임스텝 설정에서 95.81%/79.21%로 Spikformer를 꾸준히 능가한다.
• Neuromorphic 데이터셋 CIFAR10-DVS 및 DVS128 Gesture에서 Spikingformer는 각각 81.3%와 98.3%의 Top-1 정확도(또는 16스텝에서 더 높은 수치)를 달성하며 Spikformer를 능가한다.
• 정적 및 뉴모로모픽 벤치마크 전반에서 Spikingformer은 직접 학습된 순수 스파이크 주도 SNN들 사이에서 최첨단 성능을 보여준다.