[논문 리뷰] Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation

Maximilian Baronig, R Ferrand외 2명|arXiv (Cornell University)|2024. 08. 14.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 임계값 이하 적응을 갖는 적응형 LIF 뉴런을 위한 증명 가능하게 안정적인 이산화 방법을 도입함으로써, 스파iking 신경망(SNNs)의 성능을 향상시킨다. 이는 시공간 작업에서 훈련 안정성과 성능을 크게 향상시키며, 정규화가 필요 없이 이벤트 기반 벤치마크인 SHD와 BSD에서 최고 성능을 기록한다. 또한 입력 이동에 대해 강건하고 시간 시리즈 예측 및 생성 작업에서 뛰어난 일반화 능력을 보여준다.

ABSTRACT

Implementations of spiking neural networks on neuromorphic hardware promise orders of magnitude less power consumption than their non-spiking counterparts. The standard neuron model for spike-based computation on such systems has long been the leaky integrate-and-fire (LIF) neuron. A computationally light augmentation of the LIF neuron model with an adaptation mechanism has recently been shown to exhibit superior performance on spatio-temporal processing tasks. The root of the superiority of these so-called adaptive LIF neurons however is not well understood. In this article, we thoroughly analyze the dynamical, computational, and learning properties of adaptive LIF neurons and networks thereof. Our investigation reveals significant challenges related to stability and parameterization when employing the conventional Euler-Forward discretization for this class of models. We report a rigorous theoretical and empirical demonstration that these challenges can be effectively addressed by adopting an alternative discretization approach - the Symplectic Euler method, allowing to improve over state-of-the-art performances on common event-based benchmark datasets. Our further analysis of the computational properties of networks of adaptive LIF neurons shows that they are particularly well suited to exploit the spatio-temporal structure of input sequences without any normalization techniques.

연구 동기 및 목표

• 임계값 이하 적응을 사용하는 적응형 LIF 뉴런을 갖는 순환 SNN 훈련 시 발생하는 불안정성 문제를 해결하기 위해.
• 스파atiotemporal 처리에서 표준 LIF 뉴런에 비해 적응형 LIF 뉴런이 가지는 역학적 및 계산적 이점에 대한 이해를 위해.
• 적응형 LIF 네트워크가 정규화 없이도 입력 평균 강도와 스파이크 빈도의 이동에 대해 강건하게 일반화할 수 있는지 확인하기 위해.
• 새로운 안정적인 훈련 방법을 사용하여 이벤트 기반 데이터셋(SHD, BSD)에서 최고 성능을 달성하기 위해.
• 적응형 LIF 네트워크가 복잡한 시간 시리즈 예측 및 생성 작업에서 표준 LIF 및 임계값 적응 모델을 능가하는지 확인하기 위해.

제안 방법

• 표준 오일러-프wd 방법보다 증명 가능하게 더 뛰어난 안정성을 보장하는 적응형 LIF 뉴런을 위한 대안적 이산화 방법을 제안한다.
• 두 개의 상태 변수인 막 전위 $u(t)$와 적응 전류 $w(t)$를 갖는 연속 시간 형태의 적응형 LIF 뉴런을 사용한다. 여기서 $w(t)$는 스파이크와 함께 임계값 이하 막 전위에 의해도 갱신된다.
• 시공간 작업에서 순환 SNN을 훈련하기 위해 시간을 거슬러 내려가는 역전파(BPTT)를 적용한다.
• 특성 시각화 동안 스무딩 정규화 기법을 사용한다: $X^{k+1} \leftarrow \nu X^{k+1} + \gamma(g * X^{k+1})$, 여기서 $g(s)$는 너비 $\sigma$가 반복 과정에 따라 선형적으로 감소하는 가우시안 커널이다.
• BSD에서의 데이터 정규화를 위해 샘플별 정규화를 적용한다: $X^{k+1} \leftarrow X^{k+1} \cdot \mu_{\text{all}} / \mu_{k+1}$, 여기서 $\mu_{\text{all}}$는 전역 평균 스파이크 빈도이다.
• 기울기 클리핑 값 1.5와 직교 초기화를 사용하여 순환 가중치를 초기화하며, 피드포워드 가중치는 균일하게 초기화한다.

Figure 1 : The adLIF neuron with membrane potential oscillation and spike-frequency adaptation. a) Neurons in the brain have been classified into two excitability classes, integrators (class 1) and resonators (class 2). While resonators show membrane potential oscillations, integrators do not. b) Me

실험 결과

연구 질문

• RQ1 왜 임계값 이하 적응을 갖는 적응형 LIF 뉴런이 시공간 작업에서 표준 LIF 및 임계값 적응 모델보다 뛰어난 성능을 내는가?
• RQ2 적응형 LIF 네트워크 훈련 시 불안정성의 원인은 무엇이며, 개선된 이산화 방법으로 이를 해결할 수 있는가?
• RQ3 입력 평균 강도와 스파이크 빈도의 이동에 대해 적응형 LIF 네트워크가 얼마나 강건한가? 특히 훈련 중에 이러한 이동이 관찰되지 않은 경우에도 마찬가지인가?
• RQ4 배치 정규화나 유사 기법 없이도 적응형 LIF 네트워크가 SHD 및 BSD와 같은 이벤트 기반 벤치마크에서 최고 성능을 낼 수 있는가?
• RQ5 적응형 LIF 네트워크는 복잡한 시간 시리즈 예측 및 생성 작업에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 적응형 LIF 뉴런을 위한 대안적 이산화 방법은 오일러-프wd 방법보다 증명 가능하게 더 뛰어난 안정성을 제공하며, 빈번한 훈련 불안정성을 해결한다.
• 이 방법은 SHD 및 BSD 이벤트 기반 벤치마크 데이터셋에서 새로운 최고 성능을 달성하였으며, 이전의 SNN 및 LSTM 기준 모델을 모두 능가한다.
• 적응형 LIF 네트워크는 입력 평균 강도와 스파이크 빈도의 이동에 대해 강건하게 유지되며, 훈련 중에 이러한 이동이 나타나지 않았더라도 마찬가지로 성능을 유지를 한다.
• 네트워크는 복잡한 시간 시리즈 예측 및 생성 작업에서 높은 성능을 기록하였으며, 임계값 이하 적응 덕분에 시공간 입력의 구조를 더 효과적으로 활용할 수 있었다.
• 배치 정규화나 시간에 따른 정규화와 같은 정규화 기법 없이도 높은 정확도를 달성하여, 네트워크의 내재된 강건성을 입증한다.
• 적응형 스무딩을 사용한 특성 시각화 결과, 네트워크가 SHD 및 BSD 데이터셋에서 특히 의미 있고 구조적인 입력 시퀀스 표현을 학습하는 것으로 나타났다.

Figure 2 : The adLIF neuron model shows frequency-selective resonating behavior. a) Voltage response (root mean squared membrane potential over $10$ seconds) of a LIF neuron in response to tonic spike input of different rates. b) Membrane potential response of an adLIF neuron with intrinsic frequenc