[論文レビュー] SpikingGamma: Surrogate-Gradient Free and Temporally Precise Online Training of Spiking Neural Networks with Smoothed Delays

Roel Koopman, Sebastian Otte+1 more|arXiv (Cornell University)|Feb 2, 2026

Advanced Memory and Neural Computing被引用数 0

ひとこと要約

SpikingGammaは、適応的再帰メモリとシグマ-デルタスパイクコーディングを用いて、オンラインで代理勾配なしの訓練パラダイムをスパイキングニューラルネットワークに導入し、微細な解像度での時系列学習を高精度に、ハードウェアマッピングへスケーラブルに可能にする。

ABSTRACT

Neuromorphic hardware implementations of Spiking Neural Networks (SNNs) promise energy-efficient, low-latency AI through sparse, event-driven computation. Yet, training SNNs under fine temporal discretization remains a major challenge, hindering both low-latency responsiveness and the mapping of software-trained SNNs to efficient hardware. In current approaches, spiking neurons are modeled as self-recurrent units, embedded into recurrent networks to maintain state over time, and trained with BPTT or RTRL variants based on surrogate gradients. These methods scale poorly with temporal resolution, while online approximations often exhibit instability for long sequences and tend to fail at capturing temporal patterns precisely. To address these limitations, we develop spiking neurons with internal recursive memory structures that we combine with sigma-delta spike-coding. We show that this SpikingGamma model supports direct error backpropagation without surrogate gradients, can learn fine temporal patterns with minimal spiking in an online manner, and scale feedforward SNNs to complex tasks and benchmarks with competitive accuracy, all while being insensitive to the temporal resolution of the model. Our approach offers both an alternative to current recurrent SNNs trained with surrogate gradients, and a direct route for mapping SNNs to neuromorphic hardware.

研究の動機と目的

• オンラインで高時間分解能のSNNを時系列的に正確に訓練する必要性を動機付ける。
• 代理勾配を回避するためにadaptive recursive memoryとsigma-deltaコーディングを用いるスパイクモデル（SpikingGamma）を提案する。
• SpikingGammaがBPTT/RTRL近似なしで直接的な時系列バックプロパゲーションを可能にすることを示す。
• neuromorphicベンチマーク（DVS Gesture, SHD, SSC）で競争力のある精度と、時系列離散化に対するロバスト性を実証する。

提案手法

• adaptive recursive memoryとマルチバケット（Gamma様）遅延表現を持つSpikingGammaニューロンを導入する。
• rectified内部状態をsigma-deltaスパイクコーディングで符号化し、逆伝播経路でスパイクがなくても正確なフォワードパス再構成を可能にする。
• y_jとx_ij^kをニューロンごとまたはシナプスごとにバケット重みを用いて計算し、フィルターは複数の時間スケールを持つ。
• 損失を各離散タイムステップで計算（クロスエントロピーまたはMSE）し、代理勾配なしにフォワード経路を直接バックプロパゲートする。
• 安定した学習と長距離時系列フィルタリングを維持するために適応的閾値設定とバケット転送率初期化を適用する。
• スパイクを介したバックプロパゲーションを避ける式（SGなし）で、 implicit history via buckets に依存するエラーバックプロパゲーションを実証する。

Figure 1 : Overview of the neural processing model. At the synapses, incoming spikes generate weighted currents that evolve over multiple timescales. Within the neuron, the resulting synaptic responses are weighted according to their timescales and summed to produce a continuous neuronal signal. Thi

実験結果

リサーチクエスチョン

• RQ1 SpikingGammaはオンライン設定で代理勾配なしに最小限のスパイキングで時系列的に正確なパターンを検出することを学習できるか。
• RQ2 SpikingGammaはオンライン手法と比較して、微細な時間分解能や大規模アーキテクチャへどの程度スケールするか。
• RQ3 sigma-deltaコーディングと適応再帰メモリを維持することで、BPTT/RTRLなしで正確な時間クレジット割り当てを可能にするか。
• RQ4 SpikingGammaはハードウェア実装に適したスパースで時系列 coded表現をどの程度生み出すか。
• RQ5 DVS Gesture, SHD, SSCなどのベンチマークで、最先端のオンライン学習手法と比較してSpikingGammaはどの程度の性能を示すか。

主な発見

• SpikingGammaは代理勾配なしで直接的な誤差バックプロパゲーションを可能にする。
• オンライン的に最小限のスパイキングで細かな時間パターンを学習する。
• SpikingGammaはDVS Gesture, SHD, SSCベンチマークで競争力のある精度を達成し、オンラインベースラインを上回ることも多い。
• 時刻離散化の範囲にわたり時間的正確性が維持され、モデルのタイミング分解能に対する感度が低い。
• このアプローチはスパースなスパイクコードを生み出し、分析層の生物学的タイムセルダイナミクスと整合する。
• メモリ使用量は理論的に時間と共に一定に保たれ、フレームごとにスケールするBPTTベースの手法とは異なる。

Figure 2 : Visualization of temporal kernel computation using a cascade of leaky “buckets” that drain into one another at different rates ( $\alpha_{k}$ ). Each bucket represents a temporal kernel.