[논문 리뷰] Leaky Integrate-and-Fire Spiking Neuron with Learnable Membrane Time Parameter

Wei Mark Fang|arXiv (Cornell University)|2020. 07. 11.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 막막 시간 상수 $\tau$ 를 고정된 초기화 파rameter가 아니라 학습 가능한 파rameter로 설정한 파라미터화된 누출 적분-화염 신경세포(PLIF)를 제안한다. 학습 중에 $\tau$ 를 최적화할 수 있도록 함으로써, PLIF를 갖는 SNN은 여러 데이터셋에서 이미지 분류 작업에서 기존의 고정된 $\tau$ 를 가진 SNN보다 향상된 성능을 달성한다.

ABSTRACT

The Spiking Neural Networks (SNNs) have attracted research interest due to its temporal information processing capability, low power consumption, and high biological plausibility. The Leaky Integrate-and-Fire (LIF) neuron model is one of the most popular spiking neuron models used in SNNs for it achieves a balance between computing cost and biological plausibility. The most important parameter of a LIF neuron is the membrane time constant $ au$, which determines the decay rate of membrane potential. The value of $ au$ plays a crucial role in SNNs containing LIF neurons. However, $ au$ is usually treated as a hyper-parameter, which is preset before training SNNs and adjusted manually. In this article, we propose a novel spiking neuron, namely parametric Leaky Integrate-and-Fire (PLIF) neuron, whose $ au$ is a learnable parameter rather than an empirical hyper-parameter. We evaluate the performance of SNNs with PLIF neurons for image classification tasks on both traditional static MNIST, Fashion-MNIST, CIFAR-10 datasets, and neuromorphic N-MNIST, CIFAR10-DVS datasets. The experiment results show that SNNs augmented by PLIF neurons outperform those with conventional spiking neurons.

연구 동기 및 목표

• 일반적으로 초기화 파ram터로 설정되는 누출 적분-화염(LIF) 뉴런의 고정된 막막 시간 상수 $\tau$ 의 한계를 해결하기 위해.
• 학습 가능한 파rameter로 $\tau$ 를 설정함으로써 스파이킹 신경망(SNN)의 표현 능력과 성능을 향상시키기 위해.
• 학습 가능한 $\tau$ 가 다양한 데이터셋, 특히 정적 및 뉴로모르픽 데이터에서 SNN 성능을 향상시키는지 평가하기 위해.

제안 방법

• 막막 시간 상수 $\tau$ 가 미분 가능하고 학습 가능한 파rameter인 새로운 스파이킹 뉴런 모델인 파라미터화된 누출 적분-화염(PLIF) 뉴런을 제안한다.
• 기울기 기반 최적화를 통해 백프로파게이션 동안 $\tau$ 를 업데이트할 수 있도록 PLIF 뉴런을 SNN에 통합한다.
• 표준 LIF 방정식을 사용해 막막 잠재전위의 동역학을 수식화하지만, $\tau$ 는 학습 중에 최적화할 파rameter로 간주한다.
• 표준 백프로파게이션을 통한 시간(Backpropagation through time, BPTT) 또는 서로가치 기반 방법을 사용해 SNN을 훈련시키며, $\tau$ 는 표준 최적화 단계를 통해 업데이트된다.
• 일반화 성능 평가를 위해 정적 데이터셋(MNIST, Fashion-MNIST, CIFAR-10)과 뉴로모르픽 데이터셋(N-MNIST, CIFAR10-DVS) 모두에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 학습 가능한 막막 시간 상수 $\tau$ 는 스파이킹 신경망의 이미지 분류 작업 성능을 향상시킬 수 있는가?
• RQ2 다양한 데이터셋에서 학습 가능한 $\tau$ 를 가진 SNN의 성능는 고정된 $\tau$ 를 가진 SNN보다 어떻게 비교되는가?
• RQ3 PLIF 뉴런은 정적 및 뉴로모르픽 데이터셋 모두에서 잘 일반화되는가?

주요 결과

• PLIF 뉴런을 가진 SNN은 평가된 모든 데이터셋, 즉 MNIST, Fashion-MNIST, CIFAR-10, N-MNIST 및 CIFAR10-DVS에서 기존의 고정된 $\tau$ 를 가진 SNN보다 뛰어난 성능을 보였다.
• 학습 가능한 $\tau$ 파rameter는 데이터 분포와 시간 동적 특성에 더 잘 적응할 수 있게 해주어 분류 정확도를 향상시켰다.
• 제안된 PLIF 뉴런은 테스트된 벤치마크에서 유사한 아키텍처와 훈련 프로토콜을 가진 SNN 중 최고 성능을 달성했다.
• 성능 향상은 정적 및 뉴로모르픽 데이터셋 모두에서 일관되게 관찰되어, 학습 가능한 $\tau$ 메커니즘이 강건하고 일반화 능력이 뛰어나다는 것을 시사한다.