[논문 리뷰] Training Energy-Efficient Deep Spiking Neural Networks with Time-to-First-Spike Coding

Seongsik Park, Sungroh Yoon|arXiv (Cornell University)|2021. 06. 04.

Advanced Memory and Neural Computing참고 문헌 43인용 수 5

한 줄 요약

이 논문은 높은 에너지 효율성을 달성하기 위해 시간-첫-스파이크(TTFS) 코딩을 사용한 딥 스파iking 신경망(SNNs)의 훈련 프레임워크를 제안한다. 유사 모델 기반의 확률적 활성화, 시간 커널 정규화, 시간 커널 인식 배치 정규화를 도입함으로써, 기존 최고 수준의 TSC 코딩 대비 최대 77%까지 스파이크 수를 감소시키면서 CIFAR-10에서 경쟁력 있는 정확도를 유지하며, 정확도 저하율은 2%에 불과하다.

ABSTRACT

The tremendous energy consumption of deep neural networks (DNNs) has become a serious problem in deep learning. Spiking neural networks (SNNs), which mimic the operations in the human brain, have been studied as prominent energy-efficient neural networks. Due to their event-driven and spatiotemporally sparse operations, SNNs show possibilities for energy-efficient processing. To unlock their potential, deep SNNs have adopted temporal coding such as time-to-first-spike (TTFS)coding, which represents the information between neurons by the first spike time. With TTFS coding, each neuron generates one spike at most, which leads to a significant improvement in energy efficiency. Several studies have successfully introduced TTFS coding in deep SNNs, but they showed restricted efficiency improvement owing to the lack of consideration for efficiency during training. To address the aforementioned issue, this paper presents training methods for energy-efficient deep SNNs with TTFS coding. We introduce a surrogate DNN model to train the deep SNN in a feasible time and analyze the effect of the temporal kernel on training performance and efficiency. Based on the investigation, we propose stochastically relaxed activation and initial value-based regularization for the temporal kernel parameters. In addition, to reduce the number of spikes even further, we present temporal kernel-aware batch normalization. With the proposed methods, we could achieve comparable training results with significantly reduced spikes, which could lead to energy-efficient deep SNNs.

연구 동기 및 목표

• 이벤트 기반의 희소 계산 잠재력을 지닌 딥 스파이킹 신경망(SNNs)의 에너지 효율성이 제한되어 있음에도 불구하고 이를 해결하고자 한다.
• 기존 방법이 역전파 과정에서 에너지 효율성을 고려하지 못함에 따라 TTFS 코딩 SNN의 훈련이 비효율적이라는 문제를 해결하고자 한다.
• TTFS 코딩을 사용하면서도 스파이크 수를 최소화할 수 있는 확장 가능한, 미분 가능한 훈련 프레임워크를 개발하고자 한다.
• 신경형 하드웨어에서 에너지 효율을 극대화하기 위해, 상당히 낮은 스파이크 활성도를 유지하면서도 높은 추론 정확도를 달성하고자 한다.

제안 방법

• 고정된 시간 창 내에서 TTFS 코딩을 모방할 수 있도록 잘라내고 양자화된 활성화를 사용하는, 계산적으로 효율적인 유사 DNN 모델을 제안한다.
• 역전파 과정에서 시간 커널 파rameter의 기울기 소실 문제를 완화하기 위해 확률적 활성화를 도입한다.
• 시간 커널 파rameter에 초기값 기반 정규화를 적용하여 훈련 안정성 향상과 스파이크 생성 감소를 도모한다.
• 시간 커널 구조에 맞게 적응하는 시간 커널 인식 배치 정규화를 설계하여, 스파이크 수를 추가로 감소시킨다.
• 유사 모델에서 확률적 경사 하강법(SGD)을 사용해 SNN을 훈련함으로써, 미분 가능한 근사치를 통한 엔드 투 엔드 역전파를 가능하게 한다.
• 훈련된 유사 모델을 실제 IF 뉴런과 TTFS 코딩을 사용한 SNN으로 매핑하여 추론을 수행함으로써, 낮은 스파이크 활성도를 유지한다.

실험 결과

연구 질문

• RQ1 TTFS 코딩을 사용한 딥 SNN을 어떻게 훈련시킬 수 있을까? 이는 높은 정확도를 유지하면서도 스파이크 수를 최소화하여 에너지 효율성을 극대화할 수 있는가?
• RQ2 TTFS 기반 SNN 훈련 과정에서 시간 커널 파ram터에 기울기 소실이 발생하는 주요 원인은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 시간 커널 정규화는 TTFS 코딩 SNN의 훈련 안정성과 스파이크 효율성에 어떤 영향을 미치는가?
• RQ4 시간 커널 인식 배치 정규화는 정확도 저하 없이 스파이크 수를 얼마나 줄일 수 있는가?
• RQ5 기존의 속도, 단계, 버스트 또는 TSC 코딩을 사용한 SNN 훈련 방법과 비교할 때, 제안된 훈련 프레임워크는 에너지 효율성과 정확도 면에서 어느 정도 우월한가?

주요 결과

• 제안된 방법은 CIFAR-10에서 샘플당 평균 27.80개의 스파이크를 기록하여, 이전 TTFS 연구(29.94개) 대비 약 30% 감소한 것으로 나타났으며, 유사한 정확도를 유지했다.
• 스파이크 비율은 0.03%로 낮아졌으며, 이는 TSC의 24%이자 이전 TTFS 방법의 89%에 불과하여 훨씬 더 희소한 활성화를 확인했다.
• 스파이크 희소성(뉴런당 평균 스파이크 수)은 17%로, TSC의 25%이자 이전 TTFS 방법의 71%에 해당하여 시간적 효율성이 향상됨을 확인했다.
• 에너지 소비는 TSC 대비 최대 54% 감소하고, 이전 TTFS 방법 대비 최대 77% 감소한 것으로 추정되어 강력한 에너지 효율성 향상을 입증했다.
• CIFAR-10에서 정확도가 2% 감소(이전 TTFS 연구 대비 65.98% 대비 68.79%)되었음에도 불구하고, 스파이크 수가 상당히 감소하여 에너지 효율성을 정점 정확도보다 우선시했다.
• 확률적 활성화와 시간 커널 정규화를 통해 안정적인 훈련을 유지하였으며, 이는 TTFS 환경에서 효과적인 역전파를 가능하게 했다.