[论文解读] DCT-SNN: Using DCT to Distribute Spatial Information over Time for Learning Low-Latency Spiking Neural Networks

Isha Garg, Sayeed Shafayet Chowdhury+1 more|arXiv (Cornell University)|Oct 5, 2020

Advanced Memory and Neural Computing参考文献 32被引用 8

一句话总结

该论文提出DCT-SNN，一种新型脉冲神经网络，利用离散余弦变换（DCT）以结构化、能效高效的方式在时间上分布像素强度。通过将图像块编码为DCT系数，并按顺序将基函数分量输入漏电积分发放神经元，DCT-SNN在CIFAR-10上将推理延迟降低至仅48个时间步，实现89.94%的top-1准确率，同时通过频率分量剪枝实现精度与延迟之间的合理权衡。

ABSTRACT

Spiking Neural Networks (SNNs) offer a promising alternative to traditional deep learning frameworks, since they provide higher computational efficiency due to event-driven information processing. SNNs distribute the analog values of pixel intensities into binary spikes over time. However, the most widely used input coding schemes, such as Poisson based rate-coding, do not leverage the additional temporal learning capability of SNNs effectively. Moreover, these SNNs suffer from high inference latency which is a major bottleneck to their deployment. To overcome this, we propose a scalable time-based encoding scheme that utilizes the Discrete Cosine Transform (DCT) to reduce the number of timesteps required for inference. DCT decomposes an image into a weighted sum of sinusoidal basis images. At each time step, the Hadamard product of the DCT coefficients and a single frequency base, taken in order, is given to an accumulator that generates spikes upon crossing a threshold. We use the proposed scheme to learn DCT-SNN, a low-latency deep SNN with leaky-integrate-and-fire neurons, trained using surrogate gradient descent based backpropagation. We achieve top-1 accuracy of 89.94%, 68.3% and 52.43% on CIFAR-10, CIFAR-100 and TinyImageNet, respectively using VGG architectures. Notably, DCT-SNN performs inference with 2-14X reduced latency compared to other state-of-the-art SNNs, while achieving comparable accuracy to their standard deep learning counterparts. The dimension of the transform allows us to control the number of timesteps required for inference. Additionally, we can trade-off accuracy with latency in a principled manner by dropping the highest frequency components during inference.

研究动机与目标

• 为解决脉冲神经网络（SNNs）中高推理延迟的问题，尽管其具有能效优势，但高延迟限制了其在实时部署中的应用。
• 克服传统基于泊松分布的速率编码的局限性，后者对所有时间步一视同仁，无法有效利用时间学习能力。
• 开发一种基于时间的编码方案，利用数学上最优的变换，有意义地将空间信息分布到各个时间步。
• 通过选择性剪枝高频DCT分量，实现推理延迟与精度之间的可控权衡。
• 使用替代梯度反向传播训练深层SNN，使其在保持低延迟推理的同时，准确率与标准ANN相当。

提出的方法

• 输入图像被划分为4×4的空间块，每个块经过二维离散余弦变换（DCT）生成频域系数。
• DCT系数用于通过逆DCT生成基函数图像，每个基函数代表一个按能量贡献排序的正弦频率分量。
• 在每个时间步，将当前DCT基函数与对应系数的哈达玛积输入累加神经元，该神经元在时间上整合信号。
• 放电神经元整合所有基函数分量在各时间步的累积输入，当所有16个分量处理完毕后，完整像素强度被重建。
• 时间步数量由DCT块大小控制；4×4块产生16个时间步，实现精细的延迟控制。
• 网络在VGG风格架构上使用替代梯度下降进行训练，DCT编码使高效、低延迟推理成为可能。

实验结果

研究问题

• RQ1 基于DCT的编码方案是否能在不损失分类准确率的前提下降低SNN的推理延迟？
• RQ2 与均匀泊松编码相比，通过有序DCT基函数分量分布空间信息是否能提升时间利用效率？
• RQ3 DCT变换是否能通过频率分量剪枝实现精度与延迟之间有原则的权衡？
• RQ4 在CIFAR-10、CIFAR-100和TinyImageNet上，DCT-SNN与最先进SNN相比，在准确率和延迟方面表现如何？
• RQ5 基于DCT的编码是否可扩展至更深的网络架构（如VGG），并保持有竞争力的性能？

主要发现

• DCT-SNN在CIFAR-10上使用VGG9架构实现89.94%的top-1准确率，与最先进SNN相当，同时将推理延迟降低至48个时间步。
• 在CIFAR-100上，DCT-SNN在仅48个时间步内达到68.3%的top-1准确率，相比先前最先进方法延迟降低14倍。
• 在TinyImageNet上，DCT-SNN在125个时间步内达到52.43%的top-1准确率，相比先前最先进SNN延迟降低2倍。
• 该方法实现了精度与延迟之间的可控权衡：剪除高频分量可减少时间步数，而准确率损失较小。
• 能效分析显示，DCT-SNN相比其ANN对应模型能效提高1.52–1.74倍，具体取决于网络架构。
• 在深层网络上，基于DCT的编码在延迟和准确率方面均优于泊松、相位、突发和TTFS编码方案。