[论文解读] A Latency Coding Framework for Deep Spiking Neural Networks with Ultra-Low Latency

Yi Lu, Jianhao Ding+1 more|arXiv (Cornell University)|Mar 24, 2026

Advanced Memory and Neural Computing被引用 0

一句话总结

该论文提出一种经过时间反向传播训练的延迟编码 TTFS 框架，以在深度SNN中实现极低推理延迟并保持有竞争力的准确性，增强了延迟编码模块、多尖峰松弛和时序自适应决策损失。

ABSTRACT

Spiking neural networks (SNNs) offer a biologically inspired computing paradigm with significant potential for energy-efficient neural processing. Among neural coding schemes of SNNs, Time-To-First-Spike (TTFS) coding, which encodes information through the precise timing of a neuron's first spike, provides exceptional energy efficiency and biological plausibility. Despite its theoretical advantages, existing TTFS models lack efficient training methods, suffering from high inference latency and limited performance. In this work, we present a comprehensive framework, which enables the efficient training of deep TTFS-coded SNNs by employing backpropagation throuh time (BPTT) algorithm. We name the generalized TTFS coding method in our framework as latency coding. The framework includes: (1) a latency encoding (LE) module with feature extraction and straight-through estimators to address severe information loss in direct intensity-to-latency mapping and ensure smooth gradient flow; (2) relaxation of the strict single-spike constraint of traditional TTFS, allowing neurons of intermediate layers to fire multiple times to mitigating gradient vanishing in deep networks; (3) a temporal adaptive decision (TAD) loss function that dynamically weights supervision signals based on sample-dependent confidence, resolving the incompatibility between latency coding and standard cross-entropy loss. Experimental results demonstrate that our method achieves state-of-the-art accuracy in comparison to existing TTFS-coded SNNs with ultra-low inference latency and superior energy efficiency. The framework also demonstrates improved robustness against input corruptions. Our study investigates the characteristics and potential of latency coding in scenarios demanding rapid response, providing valuable insights for further exploiting the temporal learning capabilities of SNNs.

研究动机与目标

• 推动并实现极低延迟的深 TTFS 编码 SNNs，具备有竞争力的准确性与能耗效率。
• 提出延迟编码（LE）模块，以缓解强度到延迟映射中的信息损失并实现可微分训练。
• 放宽单脉冲约束以减少深 TTFS 网络中的梯度消失，同时保留第一脉冲的决策信号。
• 引入时间自适应决策（TAD）损失，在样本间平衡推理速度与准确性。
• 在 CIFAR-10、CIFAR-100、Tiny-ImageNet 及神经形态数据集上展示最先进的性能，并对输入扰动具有鲁棒性。

提出的方法

• 将反向传播通过时间（BPTT）与延迟编码 SNN 相结合，实现端到端训练。
• 使用带特征提取和直通估计器（STE）的延迟编码（LE）模块，以确保梯度流动的平滑。
• 放宽严格的单脉冲 TTFS 约束，允许中间层发生多脉冲发放，同时在输出层使用第一脉冲进行决策。
• 在输出端采用基于膜电位的解码策略，在多神经元同时发放时打破平局。
• 引入时间自适应决策（TAD）损失，按置信度分布 Lambda[t] 对每个时间步的监督进行加权，该分布由输出对数的逆熵推导而来。
• 在 CIFAR-10、CIFAR-100、Tiny-ImageNet 与 CIFAR10-DVS 上评估，并与 TTFS 基线及比特率编码 SNN 进行对比。

实验结果

研究问题

• RQ1 是否能够将反向传播通过时间有效应用于延迟编码的 TTFS SNN 以用于深度网络？
• RQ2 通过架构约束与训练策略，延迟编码的 SNN 如何在深层网络中缓解信息损失和梯度消失？
• RQ3 哪些编码与解码机制在尽量保留信息的同时实现超低延迟推理方面表现最佳？
• RQ4 时序自适应损失是否能改善不同难度数据下的推理速度与准确性的权衡？
• RQ5 在标准基准和神经形态数据上，延迟编码 SNN 在准确性与能效方面是否与比率编码 SNN 及现有 TTFS 方法具有竞争力？

主要发现

• 该方法在 TTFS 编码 SNN 中实现了最先进的准确性，且推理延迟极低（在 CIFAR-10 上使用 VGG-11 可低至 1 个时间步，达到 93.60%）。
• 延迟编码结合 STE 在强度到延迟映射过程中缓解信息损失，并实现梯度传递。
• 在中间层允许多脉冲发放，同时输出层使用第一脉冲进行决策，可在不牺牲 TTFS 优势的前提下降低梯度消失。
• 时间自适应决策（TAD）损失对时间上的监督进行动态加权，使简单样本可提前决策，困难样本则进行更长推理。
• 在 CIFAR-10/100 和 Tiny-ImageNet 上，该框架在 1–4 个时间步内达到高准确性，并且与以前的 TTFS 方法及比率编码 SNN 相比能耗估计显著降低。
• 在 CIFAR-10-C 和 CIFAR-100-C 上，延迟编码 SNN 相比比率编码基线显示出对扰动的鲁棒性提升。