[논문 리뷰] One Timestep is All You Need: Training Spiking Neural Networks with Ultra Low Latency

Sayeed Shafayet Chowdhury, Nitin Rathi외 1명|arXiv (Cornell University)|2021. 10. 01.

Advanced Memory and Neural Computing인용 수 20

한 줄 요약

이 논문은 단일 시간단계에서 추론이 가능한 IIR-SNN을 제안한다. 이는 지연 시간을 최대 2500배 감소시키면서도 높은 정확도를 유지할 수 있도록 한다. 초기에 더 높은 시간단계 모델에서 유도된 SNN을 반복적으로 재학습시킴으로써, 25–33배 높은 에너지 효율성과 함께 단일 시간단계 추론을 가능하게 한다.

ABSTRACT

Spiking Neural Networks (SNNs) are energy efficient alternatives to commonly used deep neural networks (DNNs). Through event-driven information processing, SNNs can reduce the expensive compute requirements of DNNs considerably, while achieving comparable performance. However, high inference latency is a significant hindrance to the edge deployment of deep SNNs. Computation over multiple timesteps not only increases latency as well as overall energy budget due to higher number of operations, but also incurs memory access overhead of fetching membrane potentials, both of which lessen the energy benefits of SNNs. To overcome this bottleneck and leverage the full potential of SNNs, we propose an Iterative Initialization and Retraining method for SNNs (IIR-SNN) to perform single shot inference in the temporal axis. The method starts with an SNN trained with T timesteps (T>1). Then at each stage of latency reduction, the network trained at previous stage with higher timestep is utilized as initialization for subsequent training with lower timestep. This acts as a compression method, as the network is gradually shrunk in the temporal domain. In this paper, we use direct input encoding and choose T=5, since as per literature, it is the minimum required latency to achieve satisfactory performance on ImageNet. The proposed scheme allows us to obtain SNNs with up to unit latency, requiring a single forward pass during inference. We achieve top-1 accuracy of 93.05%, 70.15% and 67.71% on CIFAR-10, CIFAR-100 and ImageNet, respectively using VGG16, with just 1 timestep. In addition, IIR-SNNs perform inference with 5-2500X reduced latency compared to other state-of-the-art SNNs, maintaining comparable or even better accuracy. Furthermore, in comparison with standard DNNs, the proposed IIR-SNNs provide25-33X higher energy efficiency, while being comparable to them in classification performance.

연구 동기 및 목표

• 에지 디바이스에의 배포를 제한하는 스파iking 신경망(SNNs)의 높은 추론 지연을 해결한다.
• 정적 이미지 분류 및 강화 학습에 있어, 저지연과 높은 정확도 간의 상충 관계를 극복한다.
• 다중 시간단계 SNN에서 필수적인 막전위 저장 및 검색에 따른 메모리 액세스 오버헤드를 제거하기 위해, 한 시간단계 추론을 가능하게 한다.
• 표준 DNN와 비교하여 동등하거나 뛰어난 에너지 효율성을 확보하면서도 경쟁 가능한 분류 성능 유지를 목표로 한다.
• 로봇 및 자율 시스템과 같은 실시간 응용 분야에서의 SNN 실용적 배포를 위해 지연 시간을 최소화한다.

제안 방법

• 직접 입력 인코딩과 서로그레이드 백프로파게이션을 사용하여 5개 시간단계로 초기 SNN을 학습한다.
• 학습된 SNN을 더 높은 시간단계(T=5 등)에서 초기화로 사용하여, 더 낮은 시간단계(T=4, 3, ..., 1)에서의 후속 학습을 수행한다.
• 시간단계를 점차 줄이며 반복적인 재학습을 적용함으로써, 점진적인 피지컬 튜닝을 통해 성능를 유지한다.
• 신경망 임계값을 학습 가능한 파라미터로 취급하여, 다양한 지연 수준에서의 학습 안정성과 성능 향상을 도모한다.
• 하이브리드 학습 파이프라인을 활용: 먼저 ANN을 학습하고, SNN로 변환한 후, 백프로파게이션을 통해 SNN 영역에서 최적화한다.
• 직접 입력 인코딩을 사용하여 수렴에 필요한 시간단계 수를 줄여, 저지연 효율적인 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 추론 시간단계에서 높은 정확도를 달성할 수 있는 SNN은 다중 시간단계 SNN과 동등하거나 이를 초월하는 성능을 낼 수 있는가?
• RQ2 더 높은 시간단계 모델에서 유도된 반복적 재학습이 정확도 저하 없이 지연 시간을 얼마나 줄일 수 있는가?
• RQ3 단일 시간단계 SNN 추론은 최신 SNN 및 동등한 DNN에 비해 에너지 효율성과 지연 시간 측면에서 어떻게 비교되는가?
• RQ4 IIR-SNN은 지연 시간을 최소화하면서도 DQN을 통한 카트폴 및 아케이드 펭귄 게임과 같은 강화 학습 작업에 효과적으로 적용될 수 있는가?
• RQ5 스파이크 수 감소 및 막전위 메모리 액세스 제거가 전체 에너지 효율성에 미치는 영향은 어떠한가?

주요 결과

• VGG16를 사용하여 IIR-SNN는 단일 추론 시간단계에서 CIFAR-10에서 93.05%의 정확도, CIFAR-100에서 70.15%, ImageNet에서 67.71%의 정확도를 기록한다.
• 최신 SNN에 비해 추론 지연 시간을 5–2500배 감소시키면서도 정확도를 유지하거나 향상시킨다.
• IIR-SNN는 동등한 DNN에 비해 25–33배 높은 에너지 효율성을 제공하며, 강화 학습에서 ANN-DQN 대비 7.55배 높은 효율성을 기록한다.
• 아케이드 펭귄 게임에서 T1 SNN은 17.4 ± 3.2의 보상을 기록했고, T5 SNN는 19.4 ± 1.3을 기록하여 ANN-DQN 성능(19.7 ± 1.1)을 유사하게 달성하면서도 훨씬 낮은 지연 시간을 확보했다.
• T1 SNN-DQN의 평균 스파이크 레이트는 단지 0.08이며, 이는 ANN-DQN 대비 7.55배 높은 에너지 효율성을 보여주며, 저연산 작동을 입증한다.
• 다중 시간단계 SNN에서 요구되는 막전위 저장 및 검색에 따른 메모리 액세스 오버헤드를 제거함으로써, 계산 및 에너지 효율성을 향상시켰다.