[논문 리뷰] KLIF: An optimized spiking neuron unit for tuning surrogate gradient slope and membrane potential

Chunming Jiang, Yilei Zhang|arXiv (Cornell University)|2023. 02. 18.

Advanced Memory and Neural Computing인용 수 8

한 줄 요약

KLIF는 k 기반의 leaky integrate-and-fire 뉴런에서 학습 가능한 스케일링 인자를 도입하여 학습 중 대리 그래디언트 기울기와 막 전위(membrane potential)를 동적으로 조정하고, 추가 연산 비용 없이 SNN의 성능을 향상시킵니다.

ABSTRACT

Spiking neural networks (SNNs) have attracted much attention due to their ability to process temporal information, low power consumption, and higher biological plausibility. However, it is still challenging to develop efficient and high-performing learning algorithms for SNNs. Methods like artificial neural network (ANN)-to-SNN conversion can transform ANNs to SNNs with slight performance loss, but it needs a long simulation to approximate the rate coding. Directly training SNN by spike-based backpropagation (BP) such as surrogate gradient approximation is more flexible. Yet now, the performance of SNNs is not competitive compared with ANNs. In this paper, we propose a novel k-based leaky Integrate-and-Fire (KLIF) neuron model to improve the learning ability of SNNs. Compared with the popular leaky integrate-and-fire (LIF) model, KLIF adds a learnable scaling factor to dynamically update the slope and width of the surrogate gradient curve during training and incorporates a ReLU activation function that selectively delivers membrane potential to spike firing and resetting. The proposed spiking unit is evaluated on both static MNIST, Fashion-MNIST, CIFAR-10 datasets, as well as neuromorphic N-MNIST, CIFAR10-DVS, and DVS128-Gesture datasets. Experiments indicate that KLIF performs much better than LIF without introducing additional computational cost and achieves state-of-the-art performance on these datasets with few time steps. Also, KLIF is believed to be more biological plausible than LIF. The good performance of KLIF can make it completely replace the role of LIF in SNN for various tasks.

연구 동기 및 목표

• 대리 그래디언트의 한계를 해결하여 SNN의 학습을 자극하고 향상시키려는 목적.
• 학습 가능한 스케일링 인자를 갖는 새로운 k-based leaky integrate-and-fire(KLIF) 뉴런을 제안한다.
• 막 전위가 스파이크/리셋 동작으로 이어지도록 제어하는 ReLU 기반 메커니즘을 도입한다.
• 고정 데이터셋과 뉴로모픽 데이터셋에서 KLIF를 평가하여 LIF 대비 성능 향상을 입증한다.
• 전통적인 LIF 뉴런과 비교하여 KLIF의 생물학적 타당성과 실제 배치상의 이점을 평가한다.]
• method2
• method

제안 방법

• KLIF를 소개한다: k-based leaky integrate-and-fire 뉴런.
• 학습 중 대리 그래디언트의 기울기와 폭을 동적으로 업데이트하기 위해 학습 가능한 스케일링 인자를 추가한다.
• 막 전위를 선택적으로 스파이크 발화 및 초기화로 전달하는 ReLU 활성화를 도입한다.
• MNIST, Fashion-MNIST, CIFAR-10 및 뉴로모픽 데이터셋(N-MNIST, CIFAR10-DVS, DVS128-Gesture)에서 KLIF를 평가한다.
• 계산 비용을 증가시키지 않으면서 LIF와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 KLIF의 학습 가능한 스케일링 인자가 학습 중 대리 그래디언트의 기울기에 적응하여 SNN 최적화를 개선할 수 있는가?
• RQ2 KLIF의 ReLU 기반 메커니즘이 LIF에 비해 막 전위 처리 및 스파이크/리셋 동작을 향상시키는가?
• RQ3 몇 개의 시간 스텝으로 고정 데이터셋과 뉴로모픽 데이터셋에서 최첨단 성능을 달성하는가?
• RQ4 KLIF가 성능과 효율을 유지하거나 향상시키면서 생물학적으로 더 타당한가?

주요 결과

• KLIF는 테스트된 고정 데이터셋과 뉴로모픽 데이터셋에서 추가 계산 비용 없이 LIF 모델보다 우수한 성능을 보인다.
• KLIF는 평가된 데이터셋에서 적은 시간 스텝으로 최첨단 성능을 달성한다.
• 이 모델은 LIF보다 더 생물학적으로 타당하며 효율성을 유지한다는 제안이 있다.