[논문 리뷰] Exploiting High Performance Spiking Neural Networks with Efficient Spiking Patterns

Guobin Shen, Dongcheng Zhao외 1명|arXiv (Cornell University)|2023. 01. 29.

Advanced Memory and Neural Computing인용 수 6

한 줄 요약

이 논문은 표현 능력을 향상시키기 위해 휴식, 정규 스파iking, 버스트 스파킹 모드 간에 동적으로 전환하는 새로운 스파iking 뉴런 모델인 Leaky Integrate and Fire or Burst (LIFB) 뉴런을 제안한다. 버스트 강도를 적응적으로 조정하고 손실 없는 표준 LIF 뉴런으로 분해 가능하게 함으로써, LIFB는 정적 및 뉴로모르픽 데이터셋에서 최신 기술 수준의 정확도를 달성하면서도 지연 시간과 에너지 소비를 크게 감소시켰다. 이는 기존의 SNN 및 이진 값 뉴런 모델을 능가한다.

ABSTRACT

Spiking Neural Networks (SNNs) use discrete spike sequences to transmit information, which significantly mimics the information transmission of the brain. Although this binarized form of representation dramatically enhances the energy efficiency and robustness of SNNs, it also leaves a large gap between the performance of SNNs and Artificial Neural Networks based on real values. There are many different spike patterns in the brain, and the dynamic synergy of these spike patterns greatly enriches the representation capability. Inspired by spike patterns in biological neurons, this paper introduces the dynamic Burst pattern and designs the Leaky Integrate and Fire or Burst (LIFB) neuron that can make a trade-off between short-time performance and dynamic temporal performance from the perspective of network information capacity. LIFB neuron exhibits three modes, resting, Regular spike, and Burst spike. The burst density of the neuron can be adaptively adjusted, which significantly enriches the characterization capability. We also propose a decoupling method that can losslessly decouple LIFB neurons into equivalent LIF neurons, which demonstrates that LIFB neurons can be efficiently implemented on neuromorphic hardware. We conducted experiments on the static datasets CIFAR10, CIFAR100, and ImageNet, which showed that we greatly improved the performance of the SNNs while significantly reducing the network latency. We also conducted experiments on neuromorphic datasets DVS-CIFAR10 and NCALTECH101 and showed that we achieved state-of-the-art with a small network structure.

연구 동기 및 목표

• 스파iking 신경망(SNNs)과 인공 신경망(ANNs) 간의 성능 격차를 해소하기 위해 SNN의 표현 능력을 향상시키기 위해.
• 생물학적으로 타당한 스파iking 패턴을 도입하여 계산 비용을 증가시키지 않고도 SNN의 성능을 향상시키기 위해.
• 더 풍부한 시간 동적 특성을 갖기 위해 동적 버스트 강도 적응을 지원하는 뉴런 모델을 설계하기 위해.
• 표준 LIF 뉴런으로 손실 없는 분해를 통해 고급 SNN의 효율적인 하드웨어 구현을 가능하게 하기 위해.
• 최소한의 시뮬레이션 스텝 수로 정적 및 뉴로모르픽 데이터셋에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 입력 전류와 적응형 임계값 역학에 기반해 휴식, 정규 스파킹, 버스트 스파킹 모드를 전환하는 Leaky Integrate and Fire or Burst (LIFB) 뉴런을 제안한다.
• 입력 데이터에 기반해 뉴런이 자가 조정할 수 있도록 가능한 버스트 강도를 학습 가능한 미분 가능한 파라미터로 도입한다.
• 각 LIFB 뉴런을 서로 다른 임계값을 가진 두 개의 등가 LIF 뉴런으로 변환하는 분해 방법을 개발하여 효율적인 뉴로모르픽 하드웨어 매핑을 가능하게 한다.
• 비미분 가능한 스파이크 이벤트에도 불구하고 기울기 흐름을 유지하기 위해, LIFB 뉴런을 사용하는 SNN의 엔드 투 엔드 훈련을 위해 서브티튜트 기울기 역전파를 적용한다.
• 지역 최소값의 평탄함을 중점으로 하여, LIFB 뉴런과 LIF 뉴런의 일반화 행동을 비교하기 위해 손실 곡면 분석을 수행한다.
• 아블레이션 연구와 시각화 기법을 적용하여 레이어 간의 신경 활동 패턴과 버스트 분포를 분석한다.

실험 결과

연구 질문

• RQ1 동적 버스트를 지원하는 스파킹 뉴런 모델이 SNN의 표현 능력과 성능을 향상시킬 수 있는가?
• RQ2 적응형 버스트 강도 학습이 고정되거나 비적응형 버스트 패턴보다 더 나은 일반화와 정확도를 이끌어내는가?
• RQ3 LIFB 뉴런의 성능 향상은 계산 비용 증가가 아니라 더 나은 모델링 덕분인가?
• RQ4 LIFB 뉴런은 PosNeg과 같은 다른 삼중값 뉴런 모델과 비교해 정확도와 효율성 면에서 어떻게 다른가?
• RQ5 손실 곡면 분석을 통해 LIFB 뉴런은 일반화 능력을 얼마나 향상시키는가?

주요 결과

• CIFAR10에서 LIFB 기반 SEW-ResNet18는 단 1회의 시뮬레이션 스텝으로도 상위-1 정확도 94.53%를 달성하여 지연 시간을 크게 감소시켰다.
• LIFB 모델은 작은 네트워크 구조로도 DVS-CIFAR10(상위-1 정확도 95.15%)과 NCALTECH101에서 최신 기술 수준의 성능을 달성했다.
• 아블레이션 연구에서 학습 가능한 버스트 강도가 VGG16의 CIFAR10 정확도를 94.53%로 향상시켜 고정 강도 기반 베이스라인(예: κ=1.5일 때 94.17%)을 초월함을 확인했다.
• 6회의 시뮬레이션 스텝을 사용할 때 LIFB 뉴런은 CIFAR10에서 상위-1 정확도 95.36%를 달성했으며, 동일한 조건에서 처음부터 훈련한 등가 LIF 모델(95.02%)을 뛰어넘었다.
• 손실 곡면 분석 결과, LIFB 뉴런은 더 평탄한 국소 최소값으로 수렴하며 더 낮은 손실을 기록함으로써 일반화 능력 향상이 확인되었다.
• 시각화 결과 버스트 스파킹이 소수의 핵심 뉴런에서 발생하는 것으로 확인되어, 버스트 모드의 생물학적 타당성과 기능적 중요성을 뒷받침했다.