[논문 리뷰] SIT: A Bionic and Non-Linear Neuron for Spiking Neural Network

Cheng Jin, Ruijie Zhu외 2명|arXiv (Cornell University)|2022. 03. 30.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 단일 스파iking 신경망(SNN)에 통합할 수 있도록 Phase Plane Analysis(PPA)를 사용하여 Izhikevich 모델에서 유도한 생물학적으로 타당한 비선형 스파이크 신경망(SNN) 모델인 Standardized Izhikevich Tonic(SIT) 신경망을 제안한다. SIT를 LIF 신경망과 융합한 하이브리드 신경망(HNN)을 통해 정적 및 뉴로모픽 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 스파이크 주파수 적응과 번개 발화 행동을 보여주어 기존 LIF 신경망에서 부족한 핵심 생물학적 특성을 구현하였다.

ABSTRACT

Spiking Neural Networks (SNNs) have piqued researchers' interest because of their capacity to process temporal information and low power consumption. However, current state-of-the-art methods limited their biological plausibility and performance because their neurons are generally built on the simple Leaky-Integrate-and-Fire (LIF) model. Due to the high level of dynamic complexity, modern neuron models have seldom been implemented in SNN practice. In this study, we adopt the Phase Plane Analysis (PPA) technique, a technique often utilized in neurodynamics field, to integrate a recent neuron model, namely, the Izhikevich neuron. Based on the findings in the advancement of neuroscience, the Izhikevich neuron model can be biologically plausible while maintaining comparable computational cost with LIF neurons. By utilizing the adopted PPA, we have accomplished putting neurons built with the modified Izhikevich model into SNN practice, dubbed as the Standardized Izhikevich Tonic (SIT) neuron. For performance, we evaluate the suggested technique for image classification tasks in self-built LIF-and-SIT-consisted SNNs, named Hybrid Neural Network (HNN) on static MNIST, Fashion-MNIST, CIFAR-10 datasets and neuromorphic N-MNIST, CIFAR10-DVS, and DVS128 Gesture datasets. The experimental results indicate that the suggested method achieves comparable accuracy while exhibiting more biologically realistic behaviors on nearly all test datasets, demonstrating the efficiency of this novel strategy in bridging the gap between neurodynamics and SNN practice.

연구 동기 및 목표

• 스파iking 신경망(SNN)에 생물학적으로 현실적인 신경망 모델을 통합함으로써 신경역학과 SNN 실무 간 격차를 메우기 위해.
• 스파이크 주파수 적응과 번개 발화 역학이 없는 표준 LIF 신경망의 한계를 극복하기 위해.
• Izhikevich와 같은 복잡한 비선형 신경망 모델을 SNN에 효과적으로 통합하기 위해 체계적인 매개변수 캘리브레이션 방법을 개발하기 위해.
• 계산 비용과 생물학적 현실성의 균형을 이루기 위해 LIF와 SIT 신경망을 융합한 하이브리드 SNN 아키텍처(HNN)를 개발하기 위해.
• 신경망의 동적 복잡성이 증가할수록 정적 및 이벤트 기반 데이터셋에서 SNN 성능이 향상됨을 검증하기 위해.

제안 방법

• Izhikevich 모델의 매개변수(a, b, c, d)에 대해 생물학적 타당성과 계산 가능성을 확보하기 위해 체계적인 분석과 캘리브레이션을 위해 Phase Plane Analysis(PPA)를 적용한다.
• PPA를 사용하여 차원이 없는 매개변수를 정규화함으로써 Standardized Izhikevich Tonic(SIT) 신경망을 제안하며, 안정적이고 재현 가능한 동역학을 보장한다.
• LIF와 SIT 신경망을 별도의 컨볼루션 레이어에 배치하여 계산 오버헤드를 줄이면서도 복잡한 스파이크 행동을 유지하는 하이브리드 신경망(HNN)을 설계한다.
• 막막 전위가 미분 방정식을 통해 시뮬레이션되는 이산 시간 시뮬레이션 프레임워크를 사용한다: $ U_t = Y_{t-1} + \frac{1}{\tau}(-(U_{t-1}-U_{\text{reset}})+I_t) $, 임계치를 초과할 경우 스파이크 리셋을 수행한다.
• 스파이크 주파수 적응과 번개 발화 모드를 생물학적 타당성의 핵심 지표로 삼으며, 입력에 따라 변하는 스파이크 패tern의 시뮬레이션을 통해 검증한다.
• 표준 SNN 학습 프rotocols를 사용하여 정적 데이터셋(MNIST, Fashion-MNIST, CIFAR-10)과 뉴로모픽 데이터셋(N-MNIST, CIFAR10-DVS, DVS128 Gesture)에서 모델을 검증한다.

실험 결과

연구 질문

• RQ1 높은 동적 복잡성을 지닌 Izhikevich 모델이 고려된 SNN에 효과적으로 통합될 수 있는가?
• RQ2 Phase Plane Analysis(PPA)를 사용하여 Izhikevich 모델의 매개변수를 체계적으로 결정함으로써 생물학적 타당성과 계산 효율성을 확보할 수 있는가?
• RQ3 SIT 신경망은 스파이크 주파수 적응과 번개 발화와 같은 생물학적으로 현실적인 행동을 보여주는가?
• RQ4 SIT와 LIF 신경망을 융합한 하이브리드 SNN이 정밀도는 유지하면서도 전력 소모를 낮춘 표준 LIF 기반 SNN을 능가할 수 있는가?
• RQ5 SIT 신경망의 증가된 동적 복잡성이 스파이크 특징맵을 통해 나타나는 표현 학습 능력 향상에 기여하는가?

주요 결과

• SIT 신경망은 스파이크 주파수 적응(SFA)을 성공적으로 구현하여, 일정한 입력 조건에서 초기 피크 이후에 발화 주파수가 감소하는 경향을 보이며 생물학적 신경망 행동을 모방한다.
• 매개변수 a, b, c, d를 조절함으로써 SIT 신경망은 번개 발화 모드로 작동할 수 있으며, 고해상도 스파이크 번개를 생성하여皮질 신경망의 특징을 반영한다.
• LIF 신경망과 비교하여 SIT 신경망은 서로 다른 입력 수준(예: 입력=2 대비 입력=3)에 대해 고유한 스파이크 패턴을 생성하지만, LIF 신경망은 동일한 조건에서 동일한 패턴을 생성한다.
• SIT 기반 스파이크 특징맵은 LIF 기반 특징맵보다 더 높은 발화 빈도와 더 명확한 에지 표현을 보이며, 향상된 표현 학습 능력을 나타낸다.
• SIT와 LIF 신경망을 융합한 하이브리드 신경망(HNN)은 MNIST, Fashion-MNIST, CIFAR-10, N-MNIST, CIFAR10-DVS, DVS128 Gesture 데이터셋에서 LIF 전용 네트워크와 비교해 유사하거나 더 높은 정확도를 달성한다.
• 이 연구는 PPA 기반 매개변수 캘리브레이션을 통해 복잡한 비선형 신경망 모델인 SIT가 SNN에 효과적으로 구현될 수 있음을 입증하였으며, 이는 이전의 백프로파게이션 학습 실패를 극복한 것이다.