[논문 리뷰] Ternary Spike: Learning Ternary Spikes for Spiking Neural Networks

Yufei Guo, Yuanpei Chen외 5명|arXiv (Cornell University)|2023. 12. 11.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 정보 용량을 향상시키기 위해 {-1, 0, 1} 스파이크 활성화를 사용하는 새로운 스파iking 신경망(SNN) 뉴런인 Ternary Spike를 제안한다. 이는 이진 스파이크보다 정보 용량을 높이며, 곱셈이 없는 이벤트 기반 추론을 유지한다. 학습 가능한 진폭 인자로 층별 스파이크 크기를 조절할 수 있으며, 추론 시 표준 삼진 스파이크로 재매aram터화되어 최소한의 에너지 오버헤드로 최신 기술 수준의 정확도를 달성한다. 예를 들어, ResNet34를 사용해 ImageNet에서 70.74%의 top-1 정확도를 기록했으며, 단지 4개의 타임스텝만을 요구한다.

ABSTRACT

The Spiking Neural Network (SNN), as one of the biologically inspired neural network infrastructures, has drawn increasing attention recently. It adopts binary spike activations to transmit information, thus the multiplications of activations and weights can be substituted by additions, which brings high energy efficiency. However, in the paper, we theoretically and experimentally prove that the binary spike activation map cannot carry enough information, thus causing information loss and resulting in accuracy decreasing. To handle the problem, we propose a ternary spike neuron to transmit information. The ternary spike neuron can also enjoy the event-driven and multiplication-free operation advantages of the binary spike neuron but will boost the information capacity. Furthermore, we also embed a trainable factor in the ternary spike neuron to learn the suitable spike amplitude, thus our SNN will adopt different spike amplitudes along layers, which can better suit the phenomenon that the membrane potential distributions are different along layers. To retain the efficiency of the vanilla ternary spike, the trainable ternary spike SNN will be converted to a standard one again via a re-parameterization technique in the inference. Extensive experiments with several popular network structures over static and dynamic datasets show that the ternary spike can consistently outperform state-of-the-art methods. Our code is open-sourced at https://github.com/yfguo91/Ternary-Spike.

연구 동기 및 목표

• SNN에서 이진 스파이크 활성화 지도로 인한 정보 손실 문제를 해결함으로써, 정보 용량이 부족해 정확도가 제한되는 문제를 해결하고자 한다.
• 곱셈이 없는 이벤트 기반 계산 방식을 유지하면서 SNN의 표현 능력을 향상시키고자 한다.
• 학습 가능한 진폭 인자 도입을 통해 네트워크 층 간의 막전위 분포의 변화에 맞춰 스파이크 진폭을 적응적으로 조절하고자 한다.
• 배포 시 학습 가능한 스파이크 진폭을 표준 삼진 스파이크로 재매aram터화함으로써 추론 효율성을 유지하고자 한다.

제안 방법

• 막전위를 {0, 1}이 아닌 {-1, 0, 1}로 양자화하는 삼진 스파이크 뉴런을 제안하여, 곱셈이 없는 추론을 유지하면서도 정보 용량을 증가시킨다.
• 스파이크 진폭 α를 층별로 학습 가능한 삼진 스파이크 변형을 도입함으로써, 층별 막전위 분포에 맞는 적응형 스파이크 크기를 가능하게 한다.
• 추론 시 학습된 α 인자를 네트워크 가중치에 통합하기 위해 재매aram터화 기법을 적용함으로써, 표준 삼진 스파이크 동작을 복원하고 덧셈 전용 계산을 유지한다.
• 표준 SNN 학습 방식을 사용하며, 삼진 스파이크 함수는 미분 가능한 하드-tanh 유사 활성화 함수로 근사한다.
• CIFAR-10, CIFAR-100, ImageNet, CIFAR10-DVS 등의 정적 및 동적 데이터셋에서 다양한 백본 아키텍처(ResNet18, ResNet34, VGG11 등)에 적용한다.
• FLOPs와 SOPs를 비교하여 에너지 효율성을 평가함으로써, 삼진 스파이크가 이진 스파이크보다 에너지 비용이 2.11% 뿐 높게 증가함을 보였다.

Figure 1: The difference between our ternary spike neuron and the vanilla binary spike neuron. In binary spike neurons, the membrane potentials will be quantized to $\{0,1\}$ spikes, which will cause severe information loss. In our ternary spike neuron, the membrane potentials will be quantized to $

실험 결과

연구 질문

• RQ1 삼진 스파이크 활성화({-1, 0, 1})는 이진 스파이크({0, 1})보다 정보 용량을 크게 향상시킬 수 있는가? 이는 에너지 효율성을 희생시키지 않고 가능할까?
• RQ2 층별로 스파이크 진폭(α)을 학습함으로써, 층 간 막전위 분포의 변화에 맞춰 성능 향상을 이룰 수 있는가?
• RQ3 학습 가능한 진폭 인자는 추론 시 효과적으로 가중치에 재매aram터화될 수 있는가? 이는 SNN의 곱셈이 없는 이벤트 기반 장점을 유지하는가?
• RQ4 다양한 벤치마크에서 최신 기술 수준의 SNN과 비교해 본 결과, 정확도와 에너지 효율성 측면에서 어떤가?

주요 결과

• 제안된 Ternary Spike 방법은 ResNet34를 사용해 단지 4개의 타임스텝만으로 ImageNet에서 70.74%의 top-1 정확도를 달성했으며, 이는 이전 최신 기술 수준 방법보다 약 3% 향상된 결과이다.
• CIFAR10-DVS에서 학습 가능한 Ternary Spike는 ResNet20를 사용해 79.80%의 정확도를 기록했으며, 이는 이전 최신 기술 수준 방법보다 2% 이상 뛰어나며, 80% 정확도에 가까워졌다.
• 2개의 타임스텝만으로도 ResNet20를 사용한 학습 가능한 Ternary Spike는 CIFAR-10에서 94.46%의 정확도를 달성했으며, 동일한 설정에서 이전 최신 기술 수준 결과를 초월했다.
• 삼진 스파이크의 에너지 비용은 이진 스파이크 대비 단지 2.11% 뿐 증가하여, 높은 정보 용량에도 불구하고 최소한의 오버헤드를 보였다.
• 이 방법은 정적(CIFAR-10, CIFAR-100, ImageNet) 및 동적(CIFAR10-DVS) 벤치마크를 포함한 여러 데이터셋과 네트워크 아키텍처에서 최신 기술 수준의 SNN를 일관되게 뛰어넘었다.