[論文レビュー] A Latency Coding Framework for Deep Spiking Neural Networks with Ultra-Low Latency

Yi Lu, Jianhao Ding+1 more|arXiv (Cornell University)|Mar 24, 2026

Advanced Memory and Neural Computing被引用数 0

ひとこと要約

この論文は、バックプロパゲーション・スルー・タイムを用いて超低遅延推論と深層SNNsにおける競争力のある精度を達成する遅延符号化TTFSフレームワークを提示し、遅延エンコーディングモジュール、マルチスパイク緩和、及び時系列適応決定損失によって強化される。

ABSTRACT

Spiking neural networks (SNNs) offer a biologically inspired computing paradigm with significant potential for energy-efficient neural processing. Among neural coding schemes of SNNs, Time-To-First-Spike (TTFS) coding, which encodes information through the precise timing of a neuron's first spike, provides exceptional energy efficiency and biological plausibility. Despite its theoretical advantages, existing TTFS models lack efficient training methods, suffering from high inference latency and limited performance. In this work, we present a comprehensive framework, which enables the efficient training of deep TTFS-coded SNNs by employing backpropagation throuh time (BPTT) algorithm. We name the generalized TTFS coding method in our framework as latency coding. The framework includes: (1) a latency encoding (LE) module with feature extraction and straight-through estimators to address severe information loss in direct intensity-to-latency mapping and ensure smooth gradient flow; (2) relaxation of the strict single-spike constraint of traditional TTFS, allowing neurons of intermediate layers to fire multiple times to mitigating gradient vanishing in deep networks; (3) a temporal adaptive decision (TAD) loss function that dynamically weights supervision signals based on sample-dependent confidence, resolving the incompatibility between latency coding and standard cross-entropy loss. Experimental results demonstrate that our method achieves state-of-the-art accuracy in comparison to existing TTFS-coded SNNs with ultra-low inference latency and superior energy efficiency. The framework also demonstrates improved robustness against input corruptions. Our study investigates the characteristics and potential of latency coding in scenarios demanding rapid response, providing valuable insights for further exploiting the temporal learning capabilities of SNNs.

研究の動機と目的

• ultra低遅延深部TTFSコード化SNNを動機づけ、競争力のある精度とエネルギー効率を達成する。
• 情報損失を軽減する遅延エンコーディング（LE）モジュールを提案し、強化学習可能な微分可能性を実現する。
• 深いTTFSネットワークで勾配消失を低減しつつ、最初のスパイク決定信号を保つため単一スパイク制約を緩和する。
• 推論速度と精度のバランスを取るための Temporal Adaptive Decision（TAD）損失を導入する。
• CIFAR-10、CIFAR-100、Tiny-ImageNet、ニューロモルフィックデータセットで最先端性能を示し、入力摂動に対する頑健性を示す。

提案手法

• 後方伝播時間（BPTT）を遅延符号化SNNと統合し、エンドツーエンドの訓練を可能にする。
• 遅延エンコーディング（LE）モジュールを特徴抽出とストレートスルーエスティメータ（STE）と組み合わせて、滑らかな勾配流を保証する。
• 中間層で複数スパイクを許容しつつ、出力層の最初のスパイクで決定を行い、TTFSの利点を維持する。
• 出力時の膜電位ベースのデコード方針を採用して、同時に複数ニューロンがスパイクした場合のタイで判定を破る。
• Temporal Adaptive Decision（TAD）損失を導入し、出力ロジットの逆エントロピーから導出される信頼度分布 Lambda[t] によって時間ごとの監督を重み付けする。
• CIFAR-10、CIFAR-100、Tiny-ImageNet、CIFAR10-DVSで、TTFSベースラインおよびレート符号化SNNと比較して、タイムステップ1–4の範囲で高精度を達成し、エネルギー推定値を大幅に低減する。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーション・スルー・タイムを遅延符号化TTFS SNNの深層アーキテクチャへ効果的に適用できるか。
• RQ2 遅延符号化SNNが、アーキテクチャ上の制約と訓練戦略を通じて情報損失と勾配消失を抑制できるか。
• RQ3 超低遅延推論を可能にしつつ情報を最も良く保持する符号化およびデコード機構はどれか。
• RQ4 時間的適応損失は、データの難易度の異なるサンプル間で推論速度と精度のトレードオフを改善するか。
• RQ5 遅延符号化SNNは、精度とエネルギー効率の点で標準ベンチマークおよびニューロモルフィックデータにおいてレート符号化SNNおよび既存のTTFS手法と競合できるか。

主な発見

• この手法は、CIFAR-10でVGG-11を用いて93.60%の精度を達成するなど、超低遅延（1タイムステップ程度）で最先端のTTFSコード化SNN精度を達成している。
• STE付き遅延エンコーディングは、強度から遅延への写像時の情報損失を緩和し、勾配流を可能にする。
• 中間層で複数スパイクを許容しつつ、出力における最初のスパイクで判断することで、TTFSの利点を維持しつつ勾配消失を低減する。
• Temporal Adaptive Decision（TAD）損失は、時間的に監督を動的に重み付けし、容易なサンプルには早い決定を、難しいサンプルには長い推論を可能にする。
• CIFAR-10/100およびTiny-ImageNetで、フレームワークは1–4ステップの範囲で高精度を達成し、従来のTTFS手法やレート符号化SNNと比較してエネルギー推定値を大幅に低減する。
• CIFAR-10-CおよびCIFAR-100-Cで、遅延符号化SNNはレート符号化ベースラインよりも破損耐性が向上することを示す。