[논문 리뷰] GLIF: A Unified Gated Leaky Integrate-and-Fire Neuron for Spiking Neural Networks

Xingting Yao, Fanrong Li외 2명|arXiv (Cornell University)|2022. 10. 25.

Advanced Memory and Neural Computing인용 수 45

한 줄 요약

GLIF는 학습 가능한 게이트를 통해 LIF 뉴런의 다중 생체 특징을 통합하여 뉴런 다이내믹스를 확장하고 SNN 성능을 향상시키며, 채널별 매개변수 학습과 엔드 투 엔드 학습을 가능하게 한다.

ABSTRACT

Spiking Neural Networks (SNNs) have been studied over decades to incorporate their biological plausibility and leverage their promising energy efficiency. Throughout existing SNNs, the leaky integrate-and-fire (LIF) model is commonly adopted to formulate the spiking neuron and evolves into numerous variants with different biological features. However, most LIF-based neurons support only single biological feature in different neuronal behaviors, limiting their expressiveness and neuronal dynamic diversity. In this paper, we propose GLIF, a unified spiking neuron, to fuse different bio-features in different neuronal behaviors, enlarging the representation space of spiking neurons. In GLIF, gating factors, which are exploited to determine the proportion of the fused bio-features, are learnable during training. Combining all learnable membrane-related parameters, our method can make spiking neurons different and constantly changing, thus increasing the heterogeneity and adaptivity of spiking neurons. Extensive experiments on a variety of datasets demonstrate that our method obtains superior performance compared with other SNNs by simply changing their neuronal formulations to GLIF. In particular, we train a spiking ResNet-19 with GLIF and achieve $77.35\%$ top-1 accuracy with six time steps on CIFAR-100, which has advanced the state-of-the-art. Codes are available at \url{https://github.com/Ikarosy/Gated-LIF}.

연구 동기 및 목표

• LIF 동작에서 다중 생체 특징을 융합하여 스파이킹 뉴런의 표현 다양성을 증가시킨다.
• 막 누출, 축적, 그리고 스파이크 시작에서 이중 생체 특징의 균형을 맞추기 위해 학습 가능한 게이팅 요인 도입.
• 훈련 중 신경 이질성과 적응성을 향상시키기 위해 채널별 매개변수 학습 가능하게 한다.
• 정적인 데이터셋과 뉴로모픽 데이터셋에서 GLIF 기반 SNN의 최첨단 성능을 시연한다.
• 게이팅, 채널별 매개화, 특징 융합의 기여를 검증하기 위한 소거 연구를 제공한다.]
• method:[

제안 방법

• 게이팅 유닛을 통해 누출, 축적, 스파이크 시작을 위한 이중 생체 특징을 융합하는 통합 스파이킹 뉴런 GLIF를 제안한다.
• L(t,l)=GLIF 막 누출을 G_alpha를 통한 선형 및 지수 감쇠의 융합으로 정의한다.
• I(t,l)를 G_beta를 통한 유연한/표준 인코딩 패턴으로의 적분 누적으로 정의한다.
• F(t,l)를 G_gamma에 의해 제어되는 소프트/하드 리셋 융합을 통해 스파이크 시작으로 정의한다.
• 프리미티브와 게이팅 인자를 채널별 매개변수 공유 체계로 학습 가능하게 한다.
• Heaviside 활성화에 대한 대리 기울기를 사용한 시간 역전파로 GLIF-SNN을 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 게이팅 유닛을 통한 LIF 모델의 이중 생체 특징 융합이 SNN의 표현력과 성능을 향상시킬 수 있는가?
• RQ2 게이팅 요인과 채널별 막 매개변수를 학습하는 것이 이질성과 데이터셋 간 정확도를 향상시키는가?
• RQ3 정적 데이터 및 뉴로모픽 데이터에서 GLIF가 단순 LIF 변형 및 다른 매개변수 스파이킹 뉴런들과 어떻게 비교되는가?
• RQ4 모델 성능에 대한 채널별 공유와 계층별 공유의 영향은 무엇인가?
• RQ5 보고된 이익을 달성하는 데 학습 가능한 게이팅 인자가 필수적인가?

주요 결과

• GLIF는 표준 아키텍처와 제한된 시간 스텝으로 CIFAR-10/100에서 최첨단 성능을 상회한다(예: ResNet-19를 사용한 6스텝에서 CIFAR-100의 상위-1 77.35%).
• ImageNet에서 GLIF는 ResNet-34/MS-ResNet-18 기반선을 향상시키며(예: 6스텝에서 GLIF-ResNet-34의 검증 정확도 69.09%, STBP-tdBN보다 높음).
• GLIF는 7B-wideNet으로 16스텝에서 CIFAR10-DVS 78.10% 정확도를 달성하여 SEW+PLIF 등 관련 방법을 능가한다.
• 소거 연구는 GLIF의 게이팅 요인과 채널별 매개화가 모든 단순 LIF 변형 및 계층별 공유를 현저히 능가함을 보여준다.
• 학습 가능한 게이팅 인자(정적 대비)와 채널별 공유는 여러 실험에서 일관되게 성능을 향상시킨다.