[논문 리뷰] SpikingGamma: Surrogate-Gradient Free and Temporally Precise Online Training of Spiking Neural Networks with Smoothed Delays

Roel Koopman, Sebastian Otte외 1명|arXiv (Cornell University)|2026. 02. 02.

Advanced Memory and Neural Computing인용 수 0

한 줄 요약

SpikingGamma은 적응적 재귀 메모리와 시그마-델타 스파이크-코딩을 활용하여 정밀 해상도에서 시계열 정확한 학습을 가능하게 하고 하드웨어 매핑에 확장 가능한 온라인, 대체-경사 없이 학습하는 패러다임을 스파이킹 뉴럴 네트워크에 도입합니다.

ABSTRACT

Neuromorphic hardware implementations of Spiking Neural Networks (SNNs) promise energy-efficient, low-latency AI through sparse, event-driven computation. Yet, training SNNs under fine temporal discretization remains a major challenge, hindering both low-latency responsiveness and the mapping of software-trained SNNs to efficient hardware. In current approaches, spiking neurons are modeled as self-recurrent units, embedded into recurrent networks to maintain state over time, and trained with BPTT or RTRL variants based on surrogate gradients. These methods scale poorly with temporal resolution, while online approximations often exhibit instability for long sequences and tend to fail at capturing temporal patterns precisely. To address these limitations, we develop spiking neurons with internal recursive memory structures that we combine with sigma-delta spike-coding. We show that this SpikingGamma model supports direct error backpropagation without surrogate gradients, can learn fine temporal patterns with minimal spiking in an online manner, and scale feedforward SNNs to complex tasks and benchmarks with competitive accuracy, all while being insensitive to the temporal resolution of the model. Our approach offers both an alternative to current recurrent SNNs trained with surrogate gradients, and a direct route for mapping SNNs to neuromorphic hardware.

연구 동기 및 목표

• 높은 시간 해상도에서 SNN의 온라인, 시계열 정확한 학습의 필요성을 제시한다.
• 대체 경사를 피하기 위해 적응형 재귀 메모리와 시그마-델타 코딩을 사용하는 스파이크 모델(SpikingGamma)을 제안한다.
• SpikingGamma이 BPTT/RTRL 근사 없이 직접 시계열 뒤로전파를 가능하게 함을 보인다.
• Neuromorphic 벤치마크(DVS Gesture, SHD, SSC)에서 경쟁력 있는 정확도와 시간 이산화에 대한 강인성을 입증한다.

제안 방법

• 적응형 재귀 메모리와 다중 버킷(Gamma 유사) 지연 표현을 갖는 SpikingGamma 뉴런을 도입한다.
• 역치 보정된 내부 상태를 시그마-델타 스파이크-코딩으로 인코딩하여 역전파 경로에서 스파이크 없이도 순전파 재구성을 가능하게 한다.
• 각 뉴런당 또는 각 시냅스당 버킷 가중치를 사용하여 y_j 및 x_ij^k를 계산하고, 필터는 여러 시간축을 갖는다.
• 각 이산 timestep에서 손실(Cross-Entropy 또는 MSE)을 계산하고 대체 경사 없이 순전파 경로를 직접 역전파한다.
• 안정적인 학습과 장기 시간 필터링을 유지하기 위해 적응 임계값 설정과 버킷 전달율 초기화를 적용한다.
• 스파이크를 통한 역전파를 피하는 방정식으로 오차 역전파를 시연하고 버킷을 통한 암시적 기록에 의존한다( SG 없음).

Figure 1 : Overview of the neural processing model. At the synapses, incoming spikes generate weighted currents that evolve over multiple timescales. Within the neuron, the resulting synaptic responses are weighted according to their timescales and summed to produce a continuous neuronal signal. Thi

실험 결과

연구 질문

• RQ1 SpikingGamma가 대체 경사 없이 온라인 설정에서 최소 스파이크로 시간적으로 정밀한 패턴을 감지하도록 학습할 수 있는가?
• RQ2 온라인 방법과 비교하여 더 미세한 시간 해상도와 더 큰 아키텍처에서 SpikingGamma가 neuromorphic 벤치마크에 얼마나 확장되는가?
• RQ3 적응형 재귀 메모리와 시그마-델타 코딩을 유지하는 것이 BPTT/RTRL 없이도 정확한 시간적 크레딧 할당을 가능하게 하는가?
• RQ4 SpikingGamma가 하드웨어 배치를 위한 희소하고 시간적으로 코딩된 표현을 어느 정도로 생성하는가?
• RQ5 DVS Gesture, SHD, SSC와 같은 벤치마크에서 SpikingGamma의 성능은 최신 온라인 학습 방법과 비교하여 어떤가?

주요 결과

• SpikingGamma은 대리 경사 없이 직접 오차 역전파를 가능하게 한다.
• 모델은 온라인 방식으로 최소한의 스파이크로 미세한 시간 패턴을 학습한다.
• SpikingGamma는 DVS Gesture, SHD, SSC 벤치마크에서 경쟁력 있는 정확도를 달성하며 종종 온라인 베이스라인을 상회한다.
• 다양한 시간 이산화에서도 시간적 정밀도가 유지되어 모델 시간 해상도에 대한 무감응성을 보여준다.
• 이 방법은 희소 스파이크 코드를 생성하고 분석된 층에서 생물학적 시간-세포 역학과 일치한다.
• 메모리 사용은 이론적으로 시간에 따라 일정하게 유지되며, 프레임에 따라 증가하는 BPTT 기반 방법과 다르다.

Figure 2 : Visualization of temporal kernel computation using a cascade of leaky “buckets” that drain into one another at different rates ( $\alpha_{k}$ ). Each bucket represents a temporal kernel.