[논문 리뷰] Incorporating Learnable Membrane Time Constant to Enhance Learning of Spiking Neural Networks

Wei Fang, Zhaofei Yu외 4명|arXiv (Cornell University)|2020. 07. 11.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 학습 가능한 막 투과 시간 상수를 갖는 Parametric Leaky Integrate-and-Fire (PLIF) 뉴런을 사용하여, 합성 시냅스 가중치와 막 투과 시간 상수를 동시에 학습하는 백프로파게이션 기반 학습 방법을 제안한다. 막 투과 시간 상수를 학습 가능한 것으로 만들면 네트워크의 표현력이 향상되고, 초기화에 대한 민감도가 감소하며, 학습 속도가 빨라지고, MNIST, Fashion-MNIST, CIFAR-10, N-MNIST, CIFAR10-DVS, DVS128 Gesture 데이터셋에서 더 적은 시간 스텝 수로 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Spiking Neural Networks (SNNs) have attracted enormous research interest due to temporal information processing capability, low power consumption, and high biological plausibility. However, the formulation of efficient and high-performance learning algorithms for SNNs is still challenging. Most existing learning methods learn weights only, and require manual tuning of the membrane-related parameters that determine the dynamics of a single spiking neuron. These parameters are typically chosen to be the same for all neurons, which limits the diversity of neurons and thus the expressiveness of the resulting SNNs. In this paper, we take inspiration from the observation that membrane-related parameters are different across brain regions, and propose a training algorithm that is capable of learning not only the synaptic weights but also the membrane time constants of SNNs. We show that incorporating learnable membrane time constants can make the network less sensitive to initial values and can speed up learning. In addition, we reevaluate the pooling methods in SNNs and find that max-pooling will not lead to significant information loss and have the advantage of low computation cost and binary compatibility. We evaluate the proposed method for image classification tasks on both traditional static MNIST, Fashion-MNIST, CIFAR-10 datasets, and neuromorphic N-MNIST, CIFAR10-DVS, DVS128 Gesture datasets. The experiment results show that the proposed method outperforms the state-of-the-art accuracy on nearly all datasets, using fewer time-steps. Our codes are available at https://github.com/fangwei123456/Parametric-Leaky-Integrate-and-Fire-Spiking-Neuron.

연구 동기 및 목표

• 고정된 막 투과 시간 상수로 인해 뉴런의 이질성과 네트워크의 표현력이 제한되는 문제를 해결하기 위해.
• 합성 시냅스 가중치와 막 투과 시간 상수를 동시에 최적화하는 백프로파게이션 기반 학습 알고리즘을 개발하기 위해.
• SNN에서 풀링 전략을 재평가하고, 최대 풀링이 정보 손실을 야기한다는 가정을 도전하기 위해.
• 정적 및 뉴로모르픽 스파iking 데이터셋 모두에서 향상된 성능과 효율성을 보여주기 위해.

제안 방법

• 각 뉴런마다 학습 가능한 매개변수로 막 투과 시간 상수 τ를 갖는 Parametric Leaky Integrate-and-Fire (PLIF) 뉴런을 도입하여, 뉴런의 통합 시간에 대한 동적 적응이 가능하도록 한다.
• 시간을 거슬러 내려가는 백프로파게이션(BPTT)을 확장하여 τ에 대한 기울기까지 포함함으로써, 가중치와 시간 상수를 동시에 끝에서 끝까지 학습할 수 있도록 한다.
• 입력 인코더를 학습 가능한 것으로 구성(학습 가능한 Conv2d + 스파이크 뉴런)하여 입력 픽셀을 직접 스파이크 패턴으로 매핑함으로써, 포isson 또는 레이턴시 인코딩과 같은 고정 인코더를 대체한다.
• SNN에서 최대 풀링을 사용하여, 시간적 희소성과 비동기적 화이어링 패턴을 유지하면서 계산 비용을 줄임을 입증한다.
• 정적 데이터셋(MNIST 등)과 뉴로모르픽 데이터셋(N-MNIST, DVS128 Gesture 등)을 모두 사용하여 이미지 분류 작업에 PLIF 기반 SNN을 적용한다.
• τ를 뉴런별로 초기화하는 분포를 사용하여, 학습 중 뉴런의 다이나믹스에 다양성을 부여한다.

실험 결과

연구 질문

• RQ1 고정된 τ 대비 막 투과 시간 상수를 학습시킬 경우 SNN의 표현력과 성능이 향상되는가?
• RQ2 가중치와 τ를 함께 최적화하면 학습 안정성과 수렴 속도가 향상되는가?
• RQ3 SNN에서 최대 풀링은 진정으로 성능에 악영향을 미치는가, 아니면 중요한 시간 정보를 유지할 수 있는가?
• RQ4 학습 가능한 인코더가 SNN에서 기존의 레이트 또는 레이턴시 인코딩을 능가하는가?
• RQ5 제안된 방법은 더 적은 시간 스텝 수로 정적 및 뉴로모르픽 데이터셋 모두에서 최신 기술 수준의 정확도를 달성하는가?

주요 결과

• 제안된 PLIF-SNN은 정적 MNIST, Fashion-MNIST, CIFAR-10 데이터셋에서 기존 최신 기술 수준의 방법들을 능가하는 최신 기술 수준의 정확도를 달성한다.
• 뉴로모르픽 데이터셋(N-MNIST, CIFAR10-DVS, DVS128 Gesture)에서 기존 SNN보다 높은 정확도를 기록하면서도 더 적은 시간 스텝을 사용한다.
• 학습 가능한 τ를 가진 네트워크는 고정된 τ를 가진 SNN보다 가중치 초기화에 덜 민감하고 더 빠르게 수렴한다.
• SNN에서 최대 풀링은 비동기적 화이어링 패턴을 유지하면서 계산 비용을 줄이며, 일부 경우 평균 풀링보다 성능이 뛰어나다.
• 학습 가능한 인코더(Conv2d + 스파이크 뉴런)는 에지나 제스처와 같은 의미적 특징을 효과적으로 추출하고, DVS128 Gesture에서 플레이어와 같은 불필요한 정보를 걸러낼 수 있다.
• 짧은 시간 통합 창을 사용함으로써 높은 정확도를 달성함으로써, 효과적인 시간 코드화를 보여주며, 높은 안정성과 효율성을 입증한다.