[논문 리뷰] MT-SNN: Enhance Spiking Neural Network with Multiple Thresholds

Xiaoting Wang, Yanxiang Zhang|arXiv (Cornell University)|2023. 03. 20.

Advanced Memory and Neural Computing인용 수 8

한 줄 요약

MT-SNN은 PLIF 기반 스파이킹 뉴럴 네트워크에 다중 임계(MT) 메커니즘을 도입하여 같은 시간 단계 수에서 정확도를 향상시키고 CIFAR-10/100 및 DVS-CIFAR10에서 더 적은 단계로도 높은 정확도를 가능하게 한다.

ABSTRACT

Spiking neural networks (SNNs) present a promising energy efficient alternative to traditional Artificial Neural Networks (ANNs) due to their multiplication-free operations enabled by binarized intermediate activations. However, this binarization leads to precision loss, hindering the SNN performance. In this paper, we introduce Multiple Threshold (MT) approaches to significantly enhance SNN accuracy by mitigating precision loss. We propose two distinct modes for MT implementation, depending on the membrane update rule: parallel mode and cascade mode. MT-SNN models can be efficiently trained on standard hardwares like GPUs and TPUs, while retaining the multiplication-free advantage crucial for deployment on neuromorphic devices. Our extensive experiments on CIFAR10, CIFAR100, ImageNet, and DVS-CIFAR10 datasets demonstrate that both MT modes substantially improve the performance of single-threshold SNNs, achieving higher accuracy with fewer time steps and comparable energy consumption. Moreover, MT-SNNs outperform state-of-the-art (SOTA) results. Notably, with MT, a Parametric-Leaky-Integrate-Fire (PLIF) based ResNet-34 architecture reaches 72.17\% accuracy on ImageNet with a single time step, surpassing the previous SOTA by 2.75\% despite using 4 steps.

연구 동기 및 목표

• SNN에서 부동소수점 값을 0/1 스파이크로 대체할 때 스파이크 활성화에서의 정보 손실을 제시한다.
• 스파이크 발화 중 부분적으로 정밀도를 보전하기 위한 다중 임계(MT) 확장을 제안한다.
• 정적 데이터셋(CIFAR-10/100)과 뉴로모픽 데이터셋(DVS-CIFAR10)에서 MT의 효능을 입증한다. 중심으로 VGG- 및 ResNet 기반 SNN.
• MT가 동일한 단계에서 더 높은 정확도를 보이며 더 적은 시간 단계로 ANN 수준의 성능과 일치하거나 초과할 수 있음을 보여준다.

제안 방법

• PLIF 뉴런의 fire 단계에 다중 스파이크 임계값을 계산하여 MT를 보강으로 도입한다: S[t]Δi = Θ(H[t] - Vth - Δi) for i = 1..n.
• 여러 스파이크 스트림을 S[t]sum = S[t] + Σi S[t]Δi로 결합하고 합성곱을 통해 Conv(S[t]sum) = Conv(S[t]) + Σi Conv(S[t]Δi)로 전파하여 곱셈 없는 계산을 보존한다.
• 학습 가능한 막시간 상수 τ = 1 + exp(-a)와 학습 대리 기울기(surrogate gradient)를 갖는 PLIF 뉴런을 사용한다.
• CIFAR-10/100 및 DVS-CIFAR10에서 표준 역전파(backpropagation)와 대리 기울기를 사용하여 MT-VGG (VGG-8/9) 및 MT-ResNet-20와 같은 아키텍처를 학습시킨다.

실험 결과

연구 질문

• RQ1 MT가 고정된 시간 단계 수에서 단일 임계값(ST) SNN보다 분류 정확도를 향상시키는가?
• RQ2 MT가 더 적은 시간 단계로도 동등하거나 우수한 정확도를 달성하여 학습/추론 대기 시간을 줄일 수 있는가?
• RQ3 MT가 정적 이미지 데이터셋(CIFAR-10/100)과 뉴로모픽 데이터셋(DVS-CIFAR10)에서의 성능에 어떤 차이를 보이는가?
• RQ4 네트워크 구성요소(합성곱 vs. 완전연결) 중 어떤 부분이 MT로부터 가장 큰 이점을 얻는가?

주요 결과

• MT는 CIFAR-10 및 CIFAR-100에서 모든 단계 1–5에 대해 ST에 비해 모든 아키텍처(VGG-8/9 및 ResNet-20)에서 정확도를 향상시킨다.
• MT-활성화된 VGG-9은 1단계에서 93.47% (CIFAR-10) 및 73.67% (CIFAR-100)을 달성하고, 5단계에서 94.74% / 75.29% (CIFAR-10 / CIFAR-100)을 달성하여 다수의 기존 SNN 결과를 능가한다.
• MT-VGG-9 및 MT-ResNet-20은 ST 기준선보다 더 적은 시간 단계로도 최첨단 결과에 도달하거나 이를 능가할 수 있으며, MT-VGG-9은 2단계에서 94.71% (CIFAR-10) 및 74.79% (CIFAR-100)을 달성한다.
• DVS-CIFAR10에서 MT-VGG-12는 약 76.3% 정도의 정확도를 보이며, 유사한 단계에서 여러 선행 방법들을 능가한다.
• 철자 연구(ablation studies) 결과 MT가 완전 연결(Fully-connected) 계층에서 조기 단계 이득을 가져오며, 양수/음수 델타의 적절한 크기 혼합을 사용할 때 최상의 성능이 나타난다.